Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: lilt · dense
Базовая модель: lilt-xlm-roberta-base
Опубликована: 27 мар 2024

Ссылки

LiLT-SER-PT

Разметка токеновТекст → label6 профессий

Дообученная LiLT-модель для извлечения и токенной классификации сущностей в документах с учётом расположения текста на странице.

8скачиваний за 30 дней0лайковвеса обновлены27 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LiLT-SER-PT — модель Kavg, дообученная на nielsr/lilt-xlm-roberta-base на датасете XFUND. Она предназначена для токенной классификации в документах: извлечения и разметки сущностей в тексте с учётом расположения элементов на странице. Модель построена на архитектуре LiLT с XLM-RoBERTa, содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов.

В карточке приведены результаты оценки на тестовой выборке: F1 0,7264, точность 0,7710, полнота 0,7551. Модель распространяется по лицензии MIT. Карточка не уточняет языки обучения и известные ограничения качества.

Сценарии применения

извлечение сущностей из форм и документов
разметка текстовых полей в документах с сохранением их расположения
классификация токенов в многоязычных документах

Ограничения

На тестовой выборке указаны F1 0,7264, точность 0,7710 и полнота 0,7551; эти результаты не гарантируют аналогичного качества на других данных. Карточка не описывает дополнительные ограничения и область применимости за пределами XFUND.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели III.8Корпоративные функцииДоговоры, юридическая работа и complianceAI помогает ускорять юридический анализ и compliance, не подменяя профессиональное заключение.25 задач1 953модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LiLT-SER-PT

This model is a fine-tuned version of nielsr/lilt-xlm-roberta-base on the xfun dataset. It achieves the following results on the evaluation set:

Loss: 2.1403
Precision: 0.6998
Recall: 0.7551
F1: 0.7264
Accuracy: 0.7710

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
training_steps: 10000

Training results

Training Loss	Epoch	Step	Accuracy	F1	Validation Loss	Precision	Recall
0.0838	8.47	500	0.7697	0.6542	1.0006	0.6081	0.7078
0.0366	16.95	1000	0.7606	0.6795	1.4063	0.6533	0.7078
0.0173	25.42	1500	0.7848	0.7047	1.4681	0.6752	0.7369
0.0036	33.9	2000	0.7706	0.7003	1.6267	0.6577	0.7487
0.0023	42.37	2500	1.6728	0.6839	0.7172	0.7002	0.7698
0.0001	50.85	3000	1.6210	0.6742	0.7493	0.7098	0.7941
0.0001	59.32	3500	1.6883	0.6962	0.7505	0.7223	0.7929
0.0007	67.8	4000	1.8709	0.6730	0.7590	0.7134	0.7811
0.0003	76.27	4500	1.9387	0.6884	0.7151	0.7015	0.7690
0.0034	84.75	5000	1.8042	0.6927	0.7554	0.7227	0.7787
0.0	93.22	5500	2.0395	0.6954	0.7596	0.7261	0.7527
0.0003	101.69	6000	1.9295	0.6861	0.7511	0.7172	0.7790
0.0001	110.17	6500	1.9690	0.6813	0.7611	0.7190	0.7694
0.0	118.64	7000	1.9217	0.6974	0.7520	0.7237	0.7754
0.0001	127.12	7500	2.0703	0.6885	0.7536	0.7196	0.7694
0.0002	135.59	8000	2.0438	0.6915	0.7635	0.7258	0.7770
0.0	144.07	8500	2.0429	0.6980	0.7599	0.7276	0.7782
0.0	152.54	9000	2.1403	0.6998	0.7551	0.7264	0.7710
0.0	161.02	9500	2.1786	0.6986	0.7578	0.7270	0.7726
0.0	169.49	10000	2.1782	0.6965	0.7560	0.7250	0.7721

Framework versions

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LiltForTokenClassification
Ревизия весов: 45138bf