Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Архитектура: layoutlmv3 · dense
Опубликована: 23 июн 2022

Ссылки

Hugging Face

layoutlmv3-finetuned-invoice

oussama

Разметка токеновТекст → label5 профессий

Дообученная LayoutLMv3 модель для разметки токенов и извлечения полей из документов и чеков.

13скачиваний за 30 дней6лайковвеса обновлены10 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

oussama/layoutlmv3-finetuned-invoice — модель Oussama, дообученная на microsoft/layoutlmv3-base на наборе SROIE для классификации токенов в документах-счетах. Архитектура LayoutLMv3ForTokenClassification объединяет текстовые и визуальные признаки документа; модель содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов.

Основной сценарий — извлечение и разметка полей из изображений чеков и счетов, представленных с распознанным текстом и координатами токенов. В README указаны идеальные метрики на оценочной выборке SROIE, однако сведений о размере и составе выборки или проверке на других типах документов нет. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.

Сценарии применения

извлечение полей из чеков SROIE
разметка названий компаний в чеках
извлечение дат и сумм из чеков
классификация токенов в изображениях счетов

Ограничения

В README приведены идеальные метрики на оценочной выборке SROIE, но не описаны состав выборки и качество на других документах. Модель предназначена для документов, похожих на чеки SROIE; обобщение на произвольные счета не подтверждено.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели

Также подходит для

I.11Классификация, ранжирование и сопоставление

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

layoutlmv3-finetuned-invoice

This model is a fine-tuned version of microsoft/layoutlmv3-base on the sroie dataset. It achieves the following results on the evaluation set:

Loss: 0.0018
Precision: 1.0
Recall: 1.0
F1: 1.0
Accuracy: 1.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
training_steps: 2000

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
No log	2.0	100	0.0967	0.958	0.9716	0.9648	0.9956
No log	4.0	200	0.0222	0.972	0.9858	0.9789	0.9971
No log	6.0	300	0.0171	0.972	0.9858	0.9789	0.9971
No log	8.0	400	0.0136	0.972	0.9858	0.9789	0.9971
0.1307	10.0	500	0.0117	0.964	0.9777	0.9708	0.9962
0.1307	12.0	600	0.0099	0.972	0.9858	0.9789	0.9971
0.1307	14.0	700	0.0094	0.972	0.9858	0.9789	0.9971
0.1307	16.0	800	0.0071	0.9918	0.9838	0.9878	0.9983
0.1307	18.0	900	0.0026	0.9980	0.9980	0.9980	0.9998
0.0089	20.0	1000	0.0018	1.0	1.0	1.0	1.0
0.0089	22.0	1100	0.0016	1.0	1.0	1.0	1.0
0.0089	24.0	1200	0.0015	1.0	0.9980	0.9990	0.9998
0.0089	26.0	1300	0.0015	0.9980	0.9980	0.9980	0.9998
0.0089	28.0	1400	0.0014	0.9980	0.9980	0.9980	0.9998
0.0025	30.0	1500	0.0011	1.0	1.0	1.0	1.0
0.0025	32.0	1600	0.0012	1.0	1.0	1.0	1.0
0.0025	34.0	1700	0.0011	1.0	1.0	1.0	1.0
0.0025	36.0	1800	0.0010	1.0	1.0	1.0	1.0
0.0025	38.0	1900	0.0010	1.0	1.0	1.0	1.0
0.0019	40.0	2000	0.0011	1.0	1.0	1.0	1.0

Framework versions

Transformers 4.21.0.dev0
Pytorch 1.11.0+cu113
Datasets 2.2.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LayoutLMv3ForTokenClassification
Ревизия весов: 83e7d8a