Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: lilt · dense
Базовая модель: lilt-xlm-roberta-base
Опубликована: 27 мар 2024

Ссылки

LiLT-SER-ES

Разметка токеновТекст → label5 профессий

LiLT-SER-ES — дообученная на XFUND модель разметки токенов для извлечения информации из документов с учётом расположения текста на странице.

7скачиваний за 30 дней0лайковвеса обновлены27 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LiLT-SER-ES — модель для разметки токенов в документах, созданная дообучением nielsr/lilt-xlm-roberta-base на датасете XFUND. Она использует архитектуру LiLT с XLM-RoBERTa и предназначена для извлечения структурированной информации из документов с учётом текста и его расположения на странице. Модель содержит 305,2 млн параметров, принимает текстовые данные и имеет контекст до 514 токенов.

В оценке на тестовой выборке XFUND достигнуты precision 0,6719, recall 0,6734, F1 0,6726 и accuracy 0,7463. Репозиторий распространяется по лицензии MIT.

Сценарии применения

извлечение полей из форм и документов
разметка токенов в многоязычных документах
анализ структуры документов по тексту и его расположению
извлечение сущностей из документов XFUND

Ограничения

На оценочной выборке XFUND F1 составляет 0,6726, precision — 0,6719, recall — 0,6734, а accuracy — 0,7463. README не описывает дополнительные ограничения и предполагаемые сценарии применения.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

II.10Разработка и эксплуатация AI/ML-систем

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LiLT-SER-ES

This model is a fine-tuned version of nielsr/lilt-xlm-roberta-base on the xfun dataset. It achieves the following results on the evaluation set:

Loss: 2.5588
Precision: 0.6719
Recall: 0.6734
F1: 0.6726
Accuracy: 0.7463

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
training_steps: 10000

Training results

Training Loss	Epoch	Step	Accuracy	F1	Validation Loss	Precision	Recall
0.2279	8.2	500	0.6790	0.5205	1.2508	0.4589	0.6012
0.032	16.39	1000	0.6936	0.5885	1.9637	0.6321	0.5505
0.0073	24.59	1500	0.7351	0.6175	1.6711	0.5795	0.6608
0.0479	32.79	2000	0.7405	0.6422	1.8259	0.6265	0.6586
0.0666	40.98	2500	0.7424	0.6349	1.8343	0.5937	0.6824
0.0006	49.18	3000	0.7475	0.6536	2.0575	0.6512	0.6559
0.0084	57.38	3500	0.7138	0.6415	2.4488	0.6758	0.6106
0.0002	65.57	4000	0.7571	0.6468	1.9641	0.6406	0.6532
0.0005	73.77	4500	2.2976	0.6699	0.6429	0.6561	0.7413
0.0003	81.97	5000	2.1562	0.6287	0.6653	0.6465	0.7468
0.0007	90.16	5500	2.2806	0.6435	0.6689	0.6560	0.7435
0.0002	98.36	6000	2.0508	0.6294	0.6734	0.6506	0.7538
0.0	106.56	6500	2.2626	0.6602	0.6765	0.6683	0.7498
0.0	114.75	7000	2.3467	0.6687	0.6492	0.6588	0.7409
0.0	122.95	7500	2.4430	0.6773	0.6734	0.6754	0.7447
0.0	131.15	8000	2.3653	0.6643	0.6765	0.6704	0.7476
0.0	139.34	8500	2.2903	0.6567	0.6824	0.6693	0.7498
0.0	147.54	9000	2.4458	0.6536	0.6824	0.6677	0.7440
0.0	155.74	9500	2.5953	0.6703	0.6685	0.6694	0.7423
0.0	163.93	10000	2.5588	0.6719	0.6734	0.6726	0.7463

Framework versions

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LiltForTokenClassification
Ревизия весов: 7ec247c