Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: lilt · dense
Базовая модель: lilt-xlm-roberta-base
Опубликована: 26 мар 2024

Ссылки

LiLT-SER-EN

Разметка токеновТекст → label5 профессий

Дообученная LiLT-модель для классификации токенов и извлечения элементов из документов с учётом их расположения на странице.

9скачиваний за 30 дней0лайковвеса обновлены26 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LiLT-SER-EN — дообученная модель kavg для классификации токенов в документах. Она основана на nielsr/lilt-xlm-roberta-base, мультиязычной архитектуре LiLT и XLM-RoBERTa, которая учитывает текст и его расположение на странице. Модель содержит около 305,2 млн параметров и рассчитана на контекст до 514 токенов.

Модель предназначена для извлечения и разметки элементов документов на уровне токенов. В README приведены результаты оценки: F1 0,7351 и точность 0,7438; датасет обучения и конкретный набор меток не раскрыты, поэтому применимость к отдельным типам документов и полям требует проверки. Репозиторий распространяется по лицензии MIT.

Сценарии применения

разметка токенов в документах
извлечение полей из документов с сохранением расположения текста
классификация слов и фрагментов на страницах документов

Ограничения

README не сообщает, на каком датасете обучена модель и какие классы она предсказывает. Приведённые метрики оценки умеренные; перед применением на целевых документах качество следует проверить.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели III.8Корпоративные функцииДоговоры, юридическая работа и complianceAI помогает ускорять юридический анализ и compliance, не подменяя профессиональное заключение.25 задач1 953модели

Также подходит для

I.11Классификация, ранжирование и сопоставление

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LiLT-SER-EN

This model is a fine-tuned version of nielsr/lilt-xlm-roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.3960
Precision: 0.7248
Recall: 0.7458
F1: 0.7351
Accuracy: 0.7438

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
training_steps: 10000

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.0832	6.67	500	1.0009	0.6741	0.6923	0.6831	0.7292
0.052	13.33	1000	1.4186	0.7225	0.7320	0.7272	0.7441
0.0027	20.0	1500	1.5508	0.7218	0.7376	0.7297	0.7464
0.0034	26.67	2000	1.7198	0.7051	0.7382	0.7213	0.7422
0.002	33.33	2500	1.8116	0.7106	0.7392	0.7246	0.7424
0.0002	40.0	3000	1.8843	0.6769	0.7514	0.7122	0.7435
0.0009	46.67	3500	1.9528	0.7401	0.7514	0.7457	0.7518
0.0224	53.33	4000	2.0602	0.7178	0.7529	0.7350	0.7476
0.0002	60.0	4500	2.2901	0.7283	0.7509	0.7394	0.7287
0.0001	66.67	5000	2.1746	0.7198	0.7433	0.7313	0.7371
0.0001	73.33	5500	1.9452	0.7214	0.7387	0.7299	0.7641
0.0	80.0	6000	2.0976	0.7350	0.7560	0.7454	0.7442
0.0021	86.67	6500	2.3034	0.7200	0.7387	0.7292	0.7365
0.0	93.33	7000	2.2409	0.7348	0.7636	0.7489	0.7499
0.0	100.0	7500	2.2742	0.7362	0.7193	0.7276	0.7472
0.0	106.67	8000	2.4953	0.7312	0.7509	0.7409	0.7363
0.0	113.33	8500	2.4936	0.7340	0.7438	0.7389	0.7396
0.0	120.0	9000	2.3976	0.7239	0.7453	0.7344	0.7440
0.0001	126.67	9500	2.3723	0.7282	0.7478	0.7379	0.7441
0.0	133.33	10000	2.3960	0.7248	0.7458	0.7351	0.7438

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LiltForTokenClassification
Ревизия весов: 17e8a2b