Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: lilt · dense
Опубликована: 15 янв 2023

Ссылки

Hugging Face

lilt-xlm-roberta-base-finetuned-funsd-iob-original

pierreguillou

Разметка токеновТекст → label8 профессий

Дообученная LiLT-модель для классификации токенов и извлечения полей из документов и форм.

74скачиваний за 30 дней0лайковвеса обновлены15 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель на 305,2 млн параметров — дообученная версия nielsr/lilt-xlm-roberta-base для поклассовой классификации токенов в документах. Архитектура LiLT использует текстовое представление XLM-RoBERTa и предназначена для задач понимания структуры документов; этот чекпойнт связан с набором FUNSD и разметкой IOB.

Модель подходит для извлечения и классификации элементов в формах и документах, например для распознавания полей и их ролей. Максимальная длина контекста — 514 токенов. В README приведены результаты оценки: F1 0,7478, точность 0,7252 и полнота 0,7718.

Весовые файлы представлены в формате PyTorch. Лицензия — MIT. Описание обучения и ограничений в карточке не раскрывает деталей, поэтому результаты на других типах документов и языках могут отличаться.

Сценарии применения

извлечение размеченных полей из форм
классификация токенов в документах
разбор структуры документов с разметкой IOB
извлечение сущностей и ролей из визуально структурированных документов

Ограничения

В README приведены умеренные метрики на оценочном наборе FUNSD (F1 0,7478); результаты на других документах и языках не описаны. Подробности обучающих данных и известных ограничений отсутствуют.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели III.7Корпоративные функцииАудит, внутренний контроль и налогиAI помогает искать ошибки, нарушения и налоговые риски, сохраняя проверяемый аудиторский след.25 задач336моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

lilt-xlm-roberta-base-finetuned-funsd-iob-original

This model is a fine-tuned version of nielsr/lilt-xlm-roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.1573
Precision: 0.7252
Recall: 0.7718
F1: 0.7478
Accuracy: 0.7676

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 30

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
No log	1.33	100	0.8309	0.5157	0.6673	0.5818	0.6594
No log	2.67	200	1.0045	0.6080	0.6699	0.6374	0.7387
No log	4.0	300	0.9127	0.6177	0.7310	0.6696	0.7427
No log	5.33	400	0.9808	0.6478	0.7300	0.6865	0.7521
0.6318	6.67	500	1.2169	0.6863	0.7376	0.7110	0.7547
0.6318	8.0	600	1.1830	0.6918	0.7580	0.7234	0.7326
0.6318	9.33	700	1.3537	0.6955	0.7504	0.7219	0.7426
0.6318	10.67	800	1.3888	0.6994	0.7611	0.7290	0.7507
0.6318	12.0	900	1.5929	0.7204	0.7560	0.7378	0.7553
0.1082	13.33	1000	1.7679	0.6891	0.7397	0.7135	0.7452
0.1082	14.67	1100	1.7197	0.7003	0.7570	0.7275	0.7530
0.1082	16.0	1200	1.8053	0.7188	0.7448	0.7315	0.7616
0.1082	17.33	1300	1.9315	0.7109	0.7728	0.7405	0.7643
0.1082	18.67	1400	2.0142	0.7240	0.7789	0.7504	0.7676
0.0312	20.0	1500	2.0475	0.7264	0.7478	0.7369	0.7654
0.0312	21.33	1600	2.0463	0.7251	0.7539	0.7393	0.7599
0.0312	22.67	1700	2.0648	0.7289	0.7753	0.7514	0.7623
0.0312	24.0	1800	2.1301	0.7272	0.7606	0.7435	0.7667
0.0312	25.33	1900	2.1319	0.7274	0.7585	0.7426	0.7694
0.0064	26.67	2000	2.1499	0.7247	0.7723	0.7477	0.7673
0.0064	28.0	2100	2.1627	0.7235	0.7733	0.7476	0.7670
0.0064	29.33	2200	2.1573	0.7252	0.7718	0.7478	0.7676

Framework versions

Transformers 4.25.1
Pytorch 1.13.0+cu116
Datasets 2.8.0
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LiltForTokenClassification
Ревизия весов: 835ef72