Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Архитектура: lilt · dense
Базовая модель: lilt-roberta-en-base
Опубликована: 30 сен 2022

Ссылки

Hugging Face

lilt-roberta-en-base-finetuned-funsd

nielsr

Разметка токеновТекст → label6 профессий

Дообученная LiLT-модель для разметки токенов и извлечения полей из англоязычных форм и документов.

5 717скачиваний за 30 дней3лайкавеса обновлены9 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nielsr/lilt-roberta-en-base-finetuned-funsd — модель извлечения сущностей из документов, дообученная nielsr на наборе FUNSD с разметкой документов. Она использует архитектуру LiLT для классификации токенов с учётом текста и структуры страницы и предназначена для извлечения полей из форм и других документов с размеченными областями. Модель содержит 151,8 млн параметров, принимает текстовые токены и рассчитана на контекст до 514 токенов.

На тестовой выборке указаны precision 0,8762, recall 0,8857, F1 0,8809 и accuracy 0,8068. Для применения к документам требуется передать текст с соответствующей структурной разметкой; результаты на других типах документов и языках карточкой не описаны. Модель распространяется под лицензией базовой модели; в предоставленных данных её условия не указаны.

Сценарии применения

извлечение названий полей из заполненных форм
классификация токенов в структурированных документах
поиск значений полей в документах FUNSD
разметка текста документов с учётом расположения на странице

Ограничения

Карточка приводит метрики только для набора FUNSD и не описывает результаты на других типах документов. Для учёта структуры страницы модели требуется соответствующая разметка входных данных.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

lilt-roberta-en-base-finetuned-funsd

This model is a fine-tuned version of nielsr/lilt-roberta-en-base on the funsd-layoutlmv3 dataset. It achieves the following results on the evaluation set:

Loss: 1.6552
Precision: 0.8762
Recall: 0.8857
F1: 0.8809
Accuracy: 0.8068

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 0.1
training_steps: 2000

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
No log	5.26	100	1.1789	0.8506	0.8485	0.8495	0.7869
No log	10.53	200	1.2382	0.8360	0.8788	0.8569	0.7970
No log	15.79	300	1.3766	0.8557	0.8897	0.8724	0.7909
No log	21.05	400	1.5590	0.8368	0.8763	0.8561	0.7792
0.04	26.32	500	1.4379	0.8562	0.8813	0.8685	0.7992
0.04	31.58	600	1.5397	0.8593	0.8947	0.8766	0.8054
0.04	36.84	700	1.6132	0.8621	0.8723	0.8672	0.7933
0.04	42.11	800	1.6483	0.8566	0.8872	0.8716	0.7777
0.04	47.37	900	1.6593	0.8641	0.8813	0.8726	0.7895
0.0044	52.63	1000	1.6704	0.8595	0.8718	0.8656	0.7925
0.0044	57.89	1100	1.6795	0.8495	0.8803	0.8646	0.7748
0.0044	63.16	1200	1.5515	0.8604	0.8912	0.8755	0.7991
0.0044	68.42	1300	1.6665	0.8573	0.8867	0.8718	0.7821
0.0044	73.68	1400	1.5893	0.8604	0.8877	0.8738	0.7895
0.0008	78.95	1500	1.5613	0.8603	0.8872	0.8736	0.8123
0.0008	84.21	1600	1.5853	0.8521	0.8872	0.8693	0.8040
0.0008	89.47	1700	1.6539	0.8707	0.8833	0.8769	0.8077
0.0008	94.74	1800	1.6634	0.8787	0.8813	0.8800	0.8079
0.0008	100.0	1900	1.6534	0.8810	0.8862	0.8836	0.8073
0.0004	105.26	2000	1.6552	0.8762	0.8857	0.8809	0.8068

Framework versions

Transformers 4.23.0.dev0
Pytorch 1.12.1+cu113
Datasets 2.5.1
Tokenizers 0.13.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LiltForTokenClassification
Ревизия весов: 96b61f6