Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: lilt · dense
Базовая модель: lilt-xlm-roberta-base
Опубликована: 7 фев 2024

Ссылки

Hugging Face

LiLT-RE-JA

kavg

Языковая модель7 профессий

Дообученная на XFUND модель LiLT для извлечения отношений между сущностями в документах.

11скачиваний за 30 дней0лайковвеса обновлены7 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kavg/LiLT-RE-JA — дообученная модель извлечения отношений из документов на основе nielsr/lilt-xlm-roberta-base. Она предназначена для выявления связей между сущностями в документном тексте с учётом структуры страницы; обучалась на датасете XFUND. Модель содержит 305,2 млн параметров, использует архитектуру LiLT совместно с XLM-RoBERTa и принимает контекст до 514 токенов. В README приведены результаты оценки на тестовой выборке: precision 0,4372, recall 0,6574 и F1 0,5252. Доступна в формате safetensors по лицензии MIT.

Сценарии применения

извлечение связей между сущностями в документе
анализ структуры документов с учётом расположения текста на странице
автоматическое выделение отношений в формах и бланках

Ограничения

На оценочной выборке F1 составил 0,5252, precision — 0,4372; качество может быть ограничено для сценариев, требующих высокой точности. Языки и подробные ограничения применения в карточке не описаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей III.8Корпоративные функцииДоговоры, юридическая работа и complianceAI помогает ускорять юридический анализ и compliance, не подменяя профессиональное заключение.25 задач1 953модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

checkpoints

This model is a fine-tuned version of nielsr/lilt-xlm-roberta-base on the xfun dataset. It achieves the following results on the evaluation set:

Precision: 0.4372
Recall: 0.6574
F1: 0.5252
Loss: 0.0001

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 10000

Training results

Training Loss	Epoch	Step	F1	Validation Loss	Precision	Recall
0.1954	20.0	500	0	0.4094	0	0
0.1588	40.0	1000	0.1420	0.3055	0.3587	0.0886
0.1182	60.0	1500	0.4253	0.1384	0.3810	0.4812
0.0477	80.0	2000	0.4764	0.0216	0.3949	0.6002
0.069	100.0	2500	0.5198	0.0115	0.4564	0.6038
0.0355	120.0	3000	0.5161	0.0018	0.4271	0.6521
0.0268	140.0	3500	0.5254	0.0016	0.4395	0.6530
0.0123	160.0	4000	0.5264	0.0015	0.4382	0.6592
0.0039	180.0	4500	0.5353	0.0011	0.4510	0.6583
0.0139	200.0	5000	0.5390	0.0011	0.4533	0.6646
0.001	220.0	5500	0.5430	0.0042	0.4620	0.6583
0.01	240.0	6000	0.5347	0.0013	0.4531	0.6521
0.0065	260.0	6500	0.5404	0.0001	0.4540	0.6673
0.0046	280.0	7000	0.5252	0.0001	0.4372	0.6574
0.002	300.0	7500	0.5365	0.0007	0.4474	0.6699
0.0002	320.0	8000	0.5393	0.0002	0.4546	0.6628
0.0008	340.0	8500	0.5412	0.0002	0.4569	0.6637
0.0024	360.0	9000	0.4677	0.6601	0.5475	0.0002
0.0001	380.0	9500	0.4560	0.6673	0.5418	0.0002
0.002	400.0	10000	0.4594	0.6628	0.5427	0.0003

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu121
Datasets 2.16.1
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: LiLTRobertaLikeForRelationExtraction
Ревизия весов: c8e8d20