Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: CC BY-NC-SA 4.0
Архитектура: layoutlmv3 · dense
Базовая модель: layoutlmv3-base
Библиотека: transformers
Опубликована: 25 сен 2024

Ссылки

Hugging Face

layoutlmv3-for-receipt-understanding

NLPmonster

Разметка токеновТекст → label6 профессий

Дообученная модель LayoutLMv3 для извлечения и классификации текстовых элементов в чеках с учётом их расположения.

15скачиваний за 30 дней0лайковвеса обновлены8 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NLPmonster/layoutlmv3-for-receipt-understanding — дообученная модель для извлечения и классификации элементов текста в чеках. Она основана на мультимодальном LayoutLMv3-base от Microsoft и предназначена для анализа распознанного текста с учётом его расположения и изображения документа. Модель содержит 151,8 млн параметров, использует библиотеку Transformers и принимает контекст длиной до 514 токенов.

В README приведены результаты оценки: F1 0,9692, точность 0,9625 и полнота 0,9759; набор данных и состав извлекаемых полей не раскрыты. Модель опубликована в формате safetensors по лицензии CC BY-NC-SA 4.0, которая предусматривает некоммерческое использование и распространение производных материалов на тех же условиях.

Сценарии применения

извлечение полей из чеков
классификация слов и фрагментов в чеке
структурирование распознанного текста чека
автоматическая обработка чеков в системах учёта

Ограничения

В README не указаны обучающий датасет, поддерживаемые языки и конкретная схема извлекаемых полей. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели IV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

layoutlmv3-for-receipt-understanding

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.1929
Precision: 0.9625
Recall: 0.9759
F1: 0.9692
Accuracy: 0.9711

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 5
eval_batch_size: 5
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
training_steps: 2500

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
2.1555	0.3125	50	1.2193	0.5472	0.6801	0.6064	0.7012
1.0163	0.625	100	0.7732	0.7762	0.8323	0.8033	0.8145
0.7451	0.9375	150	0.5322	0.8109	0.8657	0.8374	0.8553
0.5237	1.25	200	0.4384	0.8228	0.8905	0.8553	0.8960
0.4004	1.5625	250	0.3511	0.8772	0.9154	0.8959	0.9160
0.3131	1.875	300	0.3527	0.8817	0.9255	0.9030	0.9138
0.2565	2.1875	350	0.2919	0.9142	0.9511	0.9323	0.9334
0.2381	2.5	400	0.2392	0.9218	0.9519	0.9366	0.9419
0.2053	2.8125	450	0.2374	0.9189	0.9495	0.9339	0.9419
0.1541	3.125	500	0.2738	0.9250	0.9581	0.9413	0.9385
0.1557	3.4375	550	0.2274	0.9253	0.9519	0.9384	0.9491
0.1534	3.75	600	0.2394	0.9445	0.9643	0.9543	0.9533
0.1045	4.0625	650	0.2286	0.9425	0.9666	0.9544	0.9567
0.1368	4.375	700	0.2270	0.9452	0.9643	0.9547	0.9516
0.0747	4.6875	750	0.2470	0.9377	0.9589	0.9482	0.9495
0.1099	5.0	800	0.2024	0.9467	0.9651	0.9558	0.9580
0.0575	5.3125	850	0.2077	0.9534	0.9697	0.9615	0.9652
0.0848	5.625	900	0.2099	0.9464	0.9596	0.9530	0.9559
0.0913	5.9375	950	0.2399	0.9428	0.9604	0.9515	0.9482
0.0482	6.25	1000	0.2054	0.9548	0.9682	0.9614	0.9622
0.0793	6.5625	1050	0.2136	0.9579	0.9720	0.9649	0.9567
0.0425	6.875	1100	0.2274	0.9535	0.9713	0.9623	0.9635
0.0442	7.1875	1150	0.2033	0.9509	0.9627	0.9568	0.9597
0.0425	7.5	1200	0.1676	0.9588	0.9759	0.9673	0.9682
0.0425	7.8125	1250	0.1998	0.9536	0.9728	0.9631	0.9648
0.0455	8.125	1300	0.1987	0.9639	0.9752	0.9695	0.9686
0.0246	8.4375	1350	0.2094	0.9594	0.9713	0.9653	0.9626
0.0502	8.75	1400	0.2046	0.9594	0.9720	0.9657	0.9605
0.028	9.0625	1450	0.1927	0.9573	0.9752	0.9662	0.9648
0.0223	9.375	1500	0.1728	0.9602	0.9752	0.9676	0.9703
0.0346	9.6875	1550	0.2364	0.9571	0.9705	0.9638	0.9635
0.0152	10.0	1600	0.1953	0.9610	0.9759	0.9684	0.9703
0.0176	10.3125	1650	0.2045	0.9632	0.9744	0.9687	0.9682
0.019	10.625	1700	0.2316	0.9587	0.9728	0.9657	0.9622
0.0236	10.9375	1750	0.1931	0.9678	0.9790	0.9734	0.9711
0.0238	11.25	1800	0.1935	0.9610	0.9767	0.9688	0.9707
0.0206	11.5625	1850	0.1942	0.9602	0.9744	0.9672	0.9707
0.0163	11.875	1900	0.1811	0.9641	0.9790	0.9715	0.9737
0.0131	12.1875	1950	0.1731	0.9671	0.9806	0.9738	0.9758
0.017	12.5	2000	0.1835	0.9574	0.9783	0.9677	0.9707
0.0117	12.8125	2050	0.2070	0.9617	0.9759	0.9688	0.9669
0.0074	13.125	2100	0.2049	0.9617	0.9759	0.9688	0.9669
0.0093	13.4375	2150	0.2004	0.9625	0.9775	0.9700	0.9699
0.0157	13.75	2200	0.1948	0.9678	0.9790	0.9734	0.9728
0.01	14.0625	2250	0.1870	0.9648	0.9790	0.9719	0.9737
0.0047	14.375	2300	0.2000	0.9617	0.9752	0.9684	0.9699
0.0163	14.6875	2350	0.1951	0.9632	0.9767	0.9699	0.9711
0.0118	15.0	2400	0.1936	0.9640	0.9767	0.9703	0.9716
0.0093	15.3125	2450	0.1932	0.9625	0.9759	0.9692	0.9711
0.0025	15.625	2500	0.1929	0.9625	0.9759	0.9692	0.9711

Framework versions

Transformers 4.44.2
Pytorch 2.4.1+cu121
Datasets 3.0.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: LayoutLMv3ForTokenClassification
Ревизия весов: d1b7398