/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Лицензия
MIT
Архитектура
layoutlm · dense
Библиотека
transformers
Опубликована
24 сен 2024

layoutlm-base-uncased-finetuned-invoices-2

Разметка токеновТекст → label4 профессии

Модель LayoutLM для извлечения реквизитов и сумм из счетов с помощью классификации токенов.

9скачиваний за 30 дней0лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель riteshbehera857/layoutlm-base-uncased-finetuned-invoices-2 — дообученная версия riteshbehera857/layoutlm-base-uncased-finetuned-invoices-1 для извлечения полей из счетов и разметки их токенов. Она использует архитектуру LayoutLMForTokenClassification, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. По оценкам в карточке, общая точность F1 на наборе оценки составляет 0,9784; модель размечает имена, адреса, номера счета и заказа, даты, налоговый номер и суммы. Лицензия — MIT. Оценки относятся к указанному набору оценки; сведения о его составе и ограничениях в карточке не приведены.

Сценарии применения

  • извлечение реквизитов покупателя и продавца из счетов
  • распознавание номера счета и номера заказа
  • извлечение даты заказа
  • извлечение налогового номера GST
  • извлечение итоговых сумм до и после налога

Ограничения

Оценки качества получены на указанном в карточке наборе, состав которого не описан; результаты на других типах документов и данных могут отличаться.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

layoutlm-base-uncased-finetuned-invoices-2

This model is a fine-tuned version of riteshbehera857/layoutlm-base-uncased-finetuned-invoices-1 on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0342
  • B-adress: {'precision': 0.9669491525423729, 'recall': 0.971063829787234, 'f1': 0.9690021231422504, 'number': 1175}
  • B-name: {'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}
  • Gst no: {'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}
  • Invoice no: {'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}
  • Order date: {'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}
  • Order id: {'precision': 0.9770992366412213, 'recall': 0.9922480620155039, 'f1': 0.9846153846153846, 'number': 129}
  • S-adress: {'precision': 0.978021978021978, 'recall': 0.9941489361702127, 'f1': 0.9860195199155896, 'number': 1880}
  • S-name: {'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}
  • Total gross: {'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}
  • Total net: {'precision': 0.9923076923076923, 'recall': 1.0, 'f1': 0.9961389961389961, 'number': 129}
  • Overall Precision: 0.9761
  • Overall Recall: 0.9808
  • Overall F1: 0.9784
  • Overall Accuracy: 0.9944

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 16
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 10
  • num_epochs: 15

Training results

Training LossEpochStepValidation LossB-adressB-nameGst noInvoice noOrder dateOrder idS-adressS-nameTotal grossTotal netOverall PrecisionOverall RecallOverall F1Overall Accuracy
0.01921.0190.0257{'precision': 0.9559322033898305, 'recall': 0.96, 'f1': 0.9579617834394905, 'number': 1175}{'precision': 0.9713467048710601, 'recall': 0.9826086956521739, 'f1': 0.9769452449567723, 'number': 345}{'precision': 1.0, 'recall': 0.9844961240310077, 'f1': 0.9921875, 'number': 129}{'precision': 0.9615384615384616, 'recall': 0.9803921568627451, 'f1': 0.970873786407767, 'number': 102}{'precision': 0.9752066115702479, 'recall': 0.9752066115702479, 'f1': 0.9752066115702479, 'number': 121}{'precision': 0.9696969696969697, 'recall': 0.9922480620155039, 'f1': 0.9808429118773947, 'number': 129}{'precision': 0.9789251844046365, 'recall': 0.9882978723404255, 'f1': 0.9835892006352567, 'number': 1880}{'precision': 0.9899396378269618, 'recall': 0.9498069498069498, 'f1': 0.9694581280788177, 'number': 518}{'precision': 0.8688524590163934, 'recall': 1.0, 'f1': 0.9298245614035088, 'number': 53}{'precision': 1.0, 'recall': 0.9922480620155039, 'f1': 0.9961089494163424, 'number': 129}0.97260.97600.97430.9932
0.01792.0380.0272{'precision': 0.9562657695542472, 'recall': 0.9676595744680851, 'f1': 0.9619289340101522, 'number': 1175}{'precision': 0.9740634005763689, 'recall': 0.9797101449275363, 'f1': 0.976878612716763, 'number': 345}{'precision': 1.0, 'recall': 0.9844961240310077, 'f1': 0.9921875, 'number': 129}{'precision': 0.9705882352941176, 'recall': 0.9705882352941176, 'f1': 0.9705882352941176, 'number': 102}{'precision': 0.9754098360655737, 'recall': 0.9834710743801653, 'f1': 0.9794238683127573, 'number': 121}{'precision': 0.9770992366412213, 'recall': 0.9922480620155039, 'f1': 0.9846153846153846, 'number': 129}{'precision': 0.982086406743941, 'recall': 0.9914893617021276, 'f1': 0.9867654843832716, 'number': 1880}{'precision': 0.9900199600798403, 'recall': 0.9575289575289575, 'f1': 0.9735034347399412, 'number': 518}{'precision': 0.8833333333333333, 'recall': 1.0, 'f1': 0.9380530973451328, 'number': 53}{'precision': 1.0, 'recall': 0.9922480620155039, 'f1': 0.9961089494163424, 'number': 129}0.97480.97990.97740.9940
0.01493.0570.0284{'precision': 0.9647766323024055, 'recall': 0.9557446808510638, 'f1': 0.960239418554938, 'number': 1175}{'precision': 0.9794117647058823, 'recall': 0.9652173913043478, 'f1': 0.9722627737226278, 'number': 345}{'precision': 1.0, 'recall': 0.9844961240310077, 'f1': 0.9921875, 'number': 129}{'precision': 0.9611650485436893, 'recall': 0.9705882352941176, 'f1': 0.9658536585365853, 'number': 102}{'precision': 0.9754098360655737, 'recall': 0.9834710743801653, 'f1': 0.9794238683127573, 'number': 121}{'precision': 0.9770992366412213, 'recall': 0.9922480620155039, 'f1': 0.9846153846153846, 'number': 129}{'precision': 0.9744791666666667, 'recall': 0.9952127659574468, 'f1': 0.9847368421052631, 'number': 1880}{'precision': 0.99, 'recall': 0.9555984555984556, 'f1': 0.9724950884086443, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97430.97730.97580.9935
0.01354.0760.0295{'precision': 0.9531380753138076, 'recall': 0.9693617021276596, 'f1': 0.9611814345991562, 'number': 1175}{'precision': 0.9796511627906976, 'recall': 0.9768115942028985, 'f1': 0.9782293178519593, 'number': 345}{'precision': 1.0, 'recall': 0.9767441860465116, 'f1': 0.988235294117647, 'number': 129}{'precision': 0.9705882352941176, 'recall': 0.9705882352941176, 'f1': 0.9705882352941176, 'number': 102}{'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}{'precision': 0.9552238805970149, 'recall': 0.9922480620155039, 'f1': 0.9733840304182508, 'number': 129}{'precision': 0.9760166840458812, 'recall': 0.9957446808510638, 'f1': 0.985781990521327, 'number': 1880}{'precision': 0.988, 'recall': 0.9536679536679536, 'f1': 0.9705304518664047, 'number': 518}{'precision': 0.9137931034482759, 'recall': 1.0, 'f1': 0.9549549549549551, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97080.98120.97600.9936
0.015.0950.0308{'precision': 0.9619611158072696, 'recall': 0.9685106382978723, 'f1': 0.9652247667514843, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9767441860465116, 'f1': 0.988235294117647, 'number': 129}{'precision': 0.9519230769230769, 'recall': 0.9705882352941176, 'f1': 0.9611650485436893, 'number': 102}{'precision': 0.9752066115702479, 'recall': 0.9752066115702479, 'f1': 0.9752066115702479, 'number': 121}{'precision': 0.9770992366412213, 'recall': 0.9922480620155039, 'f1': 0.9846153846153846, 'number': 129}{'precision': 0.9739311783107404, 'recall': 0.9936170212765958, 'f1': 0.9836756187467087, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97270.98040.97650.9938
0.0096.01140.0315{'precision': 0.9667235494880546, 'recall': 0.9642553191489361, 'f1': 0.9654878568385172, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9705882352941176, 'recall': 0.9705882352941176, 'f1': 0.9705882352941176, 'number': 102}{'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}{'precision': 0.9624060150375939, 'recall': 0.9922480620155039, 'f1': 0.9770992366412213, 'number': 129}{'precision': 0.9714434060228453, 'recall': 0.9952127659574468, 'f1': 0.9831844456121913, 'number': 1880}{'precision': 0.9860557768924303, 'recall': 0.9555984555984556, 'f1': 0.9705882352941176, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97270.97950.97610.9936
0.00817.01330.0322{'precision': 0.966893039049236, 'recall': 0.9693617021276596, 'f1': 0.9681257968550786, 'number': 1175}{'precision': 0.9739130434782609, 'recall': 0.9739130434782609, 'f1': 0.9739130434782609, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9607843137254902, 'recall': 0.9607843137254902, 'f1': 0.9607843137254902, 'number': 102}{'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}{'precision': 0.9624060150375939, 'recall': 0.9922480620155039, 'f1': 0.9770992366412213, 'number': 129}{'precision': 0.9785002621919245, 'recall': 0.9925531914893617, 'f1': 0.9854766305782942, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97500.97970.97740.9940
0.00698.01520.0324{'precision': 0.9658994032395567, 'recall': 0.9642553191489361, 'f1': 0.9650766609880749, 'number': 1175}{'precision': 0.9767441860465116, 'recall': 0.9739130434782609, 'f1': 0.9753265602322205, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}{'precision': 0.959349593495935, 'recall': 0.9752066115702479, 'f1': 0.9672131147540983, 'number': 121}{'precision': 0.9696969696969697, 'recall': 0.9922480620155039, 'f1': 0.9808429118773947, 'number': 129}{'precision': 0.9769633507853404, 'recall': 0.9925531914893617, 'f1': 0.9846965699208443, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97460.97840.97650.9938
0.00649.01710.0344{'precision': 0.9636209813874789, 'recall': 0.9693617021276596, 'f1': 0.9664828171404328, 'number': 1175}{'precision': 0.9767441860465116, 'recall': 0.9739130434782609, 'f1': 0.9753265602322205, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9705882352941176, 'recall': 0.9705882352941176, 'f1': 0.9705882352941176, 'number': 102}{'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}{'precision': 0.9696969696969697, 'recall': 0.9922480620155039, 'f1': 0.9808429118773947, 'number': 129}{'precision': 0.9744791666666667, 'recall': 0.9952127659574468, 'f1': 0.9847368421052631, 'number': 1880}{'precision': 0.9860557768924303, 'recall': 0.9555984555984556, 'f1': 0.9705882352941176, 'number': 518}{'precision': 0.9137931034482759, 'recall': 1.0, 'f1': 0.9549549549549551, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97290.98080.97680.9940
0.005810.01900.0338{'precision': 0.9652836579170194, 'recall': 0.9702127659574468, 'f1': 0.9677419354838709, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9607843137254902, 'recall': 0.9607843137254902, 'f1': 0.9607843137254902, 'number': 102}{'precision': 0.959349593495935, 'recall': 0.9752066115702479, 'f1': 0.9672131147540983, 'number': 121}{'precision': 0.9624060150375939, 'recall': 0.9922480620155039, 'f1': 0.9770992366412213, 'number': 129}{'precision': 0.9785115303983228, 'recall': 0.9930851063829788, 'f1': 0.9857444561774024, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97480.98010.97750.9941
0.005711.02090.0342{'precision': 0.9669491525423729, 'recall': 0.971063829787234, 'f1': 0.9690021231422504, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}{'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}{'precision': 0.9770992366412213, 'recall': 0.9922480620155039, 'f1': 0.9846153846153846, 'number': 129}{'precision': 0.978021978021978, 'recall': 0.9941489361702127, 'f1': 0.9860195199155896, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9923076923076923, 'recall': 1.0, 'f1': 0.9961389961389961, 'number': 129}0.97610.98080.97840.9944
0.005112.02280.0352{'precision': 0.964527027027027, 'recall': 0.9719148936170213, 'f1': 0.9682068673166595, 'number': 1175}{'precision': 0.9739130434782609, 'recall': 0.9739130434782609, 'f1': 0.9739130434782609, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}{'precision': 0.9672131147540983, 'recall': 0.9752066115702479, 'f1': 0.9711934156378601, 'number': 121}{'precision': 0.9770992366412213, 'recall': 0.9922480620155039, 'f1': 0.9846153846153846, 'number': 129}{'precision': 0.9785340314136126, 'recall': 0.9941489361702127, 'f1': 0.9862796833773088, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9137931034482759, 'recall': 1.0, 'f1': 0.9549549549549551, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97480.98100.97790.9943
0.005113.02470.0352{'precision': 0.9638047138047138, 'recall': 0.9744680851063829, 'f1': 0.9691070672873465, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}{'precision': 0.9291338582677166, 'recall': 0.9752066115702479, 'f1': 0.9516129032258065, 'number': 121}{'precision': 0.9624060150375939, 'recall': 0.9922480620155039, 'f1': 0.9770992366412213, 'number': 129}{'precision': 0.9790356394129979, 'recall': 0.9936170212765958, 'f1': 0.9862724392819429, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9298245614035088, 'recall': 1.0, 'f1': 0.9636363636363636, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97400.98140.97770.9942
0.004614.02660.0356{'precision': 0.9605373635600336, 'recall': 0.9736170212765958, 'f1': 0.967032967032967, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}{'precision': 0.959349593495935, 'recall': 0.9752066115702479, 'f1': 0.9672131147540983, 'number': 121}{'precision': 0.9624060150375939, 'recall': 0.9922480620155039, 'f1': 0.9770992366412213, 'number': 129}{'precision': 0.9790246460409019, 'recall': 0.9930851063829788, 'f1': 0.9860047531027197, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9137931034482759, 'recall': 1.0, 'f1': 0.9549549549549551, 'number': 53}{'precision': 0.9847328244274809, 'recall': 1.0, 'f1': 0.9923076923076923, 'number': 129}0.97380.98100.97740.9941
0.004415.02850.0355{'precision': 0.9613445378151261, 'recall': 0.9736170212765958, 'f1': 0.9674418604651164, 'number': 1175}{'precision': 0.9795918367346939, 'recall': 0.9739130434782609, 'f1': 0.9767441860465117, 'number': 345}{'precision': 1.0, 'recall': 0.9689922480620154, 'f1': 0.9842519685039369, 'number': 129}{'precision': 0.9702970297029703, 'recall': 0.9607843137254902, 'f1': 0.9655172413793103, 'number': 102}{'precision': 0.959349593495935, 'recall': 0.9752066115702479, 'f1': 0.9672131147540983, 'number': 121}{'precision': 0.9624060150375939, 'recall': 0.9922480620155039, 'f1': 0.9770992366412213, 'number': 129}{'precision': 0.9790246460409019, 'recall': 0.9930851063829788, 'f1': 0.9860047531027197, 'number': 1880}{'precision': 0.9860834990059643, 'recall': 0.9575289575289575, 'f1': 0.9715964740450539, 'number': 518}{'precision': 0.9137931034482759, 'recall': 1.0, 'f1': 0.9549549549549551, 'number': 53}{'precision': 0.9923076923076923, 'recall': 1.0, 'f1': 0.9961389961389961, 'number': 129}0.97420.98100.97760.9942

Framework versions

  • Transformers 4.44.2
  • Pytorch 2.4.1+cu121
  • Datasets 3.0.0
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
LayoutLMForTokenClassification
Ревизия весов
cb56e9b

0 моделей