Производная модели impira/layoutlm-invoices. Дообученная мультимодальная LayoutLM от Impira для ответов на вопросы по счетам-фактурам и другим документам с учётом их структуры.
19скачиваний за 30 дней7лайковвеса обновлены20 дек 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели faisalraza/layoutlm-invoices на Hugging Face совпадает с карточкой impira/layoutlm-invoices, поэтому описание составлено по ней.
Impira LayoutLM Invoices — дообученная мультимодальная модель семейства LayoutLM от команды Impira для ответов на вопросы по счетам-фактурам и другим документам. Модель содержит 151,8 млн параметров, использует архитектуру LayoutLMForQuestionAnswering и доступна в форматах PyTorch и Safetensors.
Модель предназначена для извлечения ответов из документов с учётом их визуальной структуры и расположения текста. Её дообучали на закрытом наборе счетов-фактур, а также на SQuAD 2.0 и DocVQA для более общего понимания документов. Дополнительная классификационная голова позволяет предсказывать ответы из несмежных фрагментов текста, например корректно собирать адрес, разделённый другими элементами документа. Для использования разработчики рекомендуют DocQuery.
Карточка указывает поддержку английского языка; метаданные задают контекст в 514 токенов. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных работ на тех же условиях и ограничивает коммерческое использование.
Сценарии применения
извлечение реквизитов из счетов-фактур по вопросу на естественном языке
поиск адреса получателя в документе, даже если его части расположены несмежно
ответы на вопросы по содержимому документов
автоматизация разбора счетов и документов
Ограничения
Модель обучена на закрытом наборе счетов-фактур и англоязычных наборах SQuAD 2.0 и DocVQA; применимость к другим языкам и типам документов не подтверждена. Контекст ограничен 514 токенами, а лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
This is a fine-tuned version of the multi-modal LayoutLM model for the task of question answering on invoices and other documents. It has been fine-tuned on a proprietary dataset of
invoices as well as both SQuAD2.0 and DocVQA for general comprehension.
Non-consecutive tokens
Unlike other QA models, which can only extract consecutive tokens (because they predict the start and end of a sequence), this model can predict longer-range, non-consecutive sequences with an additional
classifier head. For example, QA models often encounter this failure mode:
Before
After
However this model is able to predict non-consecutive tokens and therefore the address correctly:
