/ Модель

Характеристики

Лицензия
MIT
Архитектура
vision-encoder-decoder · dense
Опубликована
13 мар 2023

invoices-donut-model-v1

Описание изображенийИзображение → текст4 профессии

Дообученная на счетах модель Donut от KatanaML извлекает текстовые данные из изображений документов.

234скачиваний за 30 дней40лайковвеса обновлены11 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание текста» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sparrow — модель KatanaML для извлечения данных из счетов. Она дообучена на базе Donut и предназначена для проверки и обработки корпоративных документов, в частности счетов. Архитектура — vision-encoder-decoder; модель принимает изображения документов и выдаёт текст. В тестовом наборе указана средняя точность 0,96. Для дообучения использовалось до 500 документов; авторы предлагают использовать другие документы для инференса. Репозиторий распространяется по лицензии MIT.

Сценарии применения

  • извлечение данных из счетов-фактур
  • автоматизация обработки корпоративных счетов
  • проверка извлечения полей из документов
  • распознавание текста на изображениях счетов

Ограничения

В README приведена средняя точность 0,96 на тестовом наборе, но не описаны его состав и метрика. Дообучение проводилось на данных счетов, поэтому качество на других типах документов не установлено.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Sparrow - Data extraction from documents with ML

This model is finetuned Donut ML base model on invoices data. Model aims to verify how well Donut performs on enterprise docs.

Mean accuracy on test set: 0.96

Inference:

Inference Results

Training loss:

Training Loss

Sparrow on GitHub

Sample invoice docs to use for inference (docs up to 500 were used for fine-tuning, use docs from 500 for inference)

Our website KatanaML

On Twitter

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
80d909d

0 моделей