Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: lilt · dense
Базовая модель: lilt-xlm-roberta-base
Опубликована: 27 мар 2024

Ссылки

LiLT-SER-DE

Разметка токеновТекст → label6 профессий

Дообученная мультиязычная LiLT-модель для распознавания именованных сущностей и извлечения полей из документов с учётом расположения текста.

9скачиваний за 30 дней0лайковвеса обновлены27 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LiLT-SER-DE — модель для распознавания сущностей в документах, созданная дообучением nielsr/lilt-xlm-roberta-base на наборе данных XFUND. Она использует архитектуру LiLTForTokenClassification и учитывает текст вместе с его расположением на странице, что подходит для извлечения структурированных полей из документов. Модель содержит 305,2 млн параметров и поддерживает контекст до 514 токенов.

В оценке на тестовой выборке XFUND показала F1 0,755, точность 0,7268, полноту 0,7854 и accuracy 0,7817. Репозиторий распространяется по лицензии MIT.

Сценарии применения

извлечение именованных сущностей из документов
распознавание полей в формах и счетах
разметка текста на сканах с учётом координат слов

Ограничения

На оценочной выборке XFUND модель получила F1 0,755; результаты могут отличаться на документах другого типа или на языках и форматах, отличающихся от обучающих данных.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LiLT-SER-DE

This model is a fine-tuned version of nielsr/lilt-xlm-roberta-base on the xfun dataset. It achieves the following results on the evaluation set:

Loss: 2.1833
Precision: 0.7268
Recall: 0.7854
F1: 0.7550
Accuracy: 0.7817

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
training_steps: 10000

Training results

Training Loss	Epoch	Step	Accuracy	F1	Validation Loss	Precision	Recall
0.2776	10.42	500	0.7098	0.6660	1.4820	0.6266	0.7106
0.0386	20.83	1000	0.7884	0.7195	1.3364	0.6868	0.7556
0.002	31.25	1500	0.8102	0.7350	1.4865	0.7000	0.7738
0.0043	41.67	2000	0.7965	0.7167	1.5473	0.7050	0.7289
0.0009	52.08	2500	0.7797	0.7357	1.8408	0.7371	0.7342
0.0003	62.5	3000	0.7841	0.7279	1.9387	0.7021	0.7556
0.0044	72.92	3500	0.7900	0.7402	1.7595	0.7292	0.7516
0.0005	83.33	4000	0.7677	0.7370	2.0830	0.7084	0.7680
0.0001	93.75	4500	0.7746	0.7555	2.0764	0.7301	0.7827
0.0001	104.17	5000	0.7716	0.7441	2.0912	0.7158	0.7747
0.0	114.58	5500	0.7764	0.7572	2.1803	0.7275	0.7894
0.0	125.0	6000	0.7809	0.7576	2.1028	0.7384	0.7778
0.0001	135.42	6500	0.7812	0.7422	2.0825	0.7240	0.7614
0.0001	145.83	7000	0.7882	0.7481	2.0649	0.7244	0.7734
0.0001	156.25	7500	0.7789	0.7536	2.1535	0.7324	0.7760
0.0	166.67	8000	0.7760	0.7491	2.2120	0.7307	0.7685
0.0	177.08	8500	0.7941	0.7615	1.9997	0.75	0.7734
0.0	187.5	9000	0.7854	0.7588	2.0939	0.7355	0.7836
0.0	197.92	9500	2.1707	0.7262	0.7805	0.7524	0.7825
0.0	208.33	10000	2.1833	0.7268	0.7854	0.7550	0.7817

Framework versions

Transformers 4.39.1
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LiltForTokenClassification
Ревизия весов: 361a2f3