Характеристики
- Архитектура
- vision-encoder-decoder · dense
- Опубликована
- 25 июл 2022
Ссылки
donut-base-finetuned-cord-v2
Модель Donut для OCR-free разбора изображений чеков и генерации структурированных текстовых данных.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
nielsr/donut-base-finetuned-cord-v2 — модель Donut, разработанная командой NAVER CLOVA и опубликованная в экосистеме Hugging Face. Это vision-encoder-decoder для понимания документов без отдельного OCR-модуля: Swin Transformer кодирует изображение, а текстовый декодер BART авторегрессионно генерирует структурированный текст.
Модель дообучена на наборе данных CORD и предназначена прежде всего для разбора изображений чеков и извлечения из них текстовых полей и структуры. В метаданных указаны архитектура vision-encoder-decoder, задача image-text-to-text, библиотека Transformers и размер около 0,2 млрд параметров; конфигурация Donut задаёт входной размер 1280×960 и максимальную длину генерации 768 токенов. Поддержка естественных языков в метаданных не указана. Для официальной карточки соответствующей модели Donut указана лицензия MIT.
Сценарии применения
- извлечение позиций и цен из фотографий чеков
- структурирование данных кассовых чеков в JSON-подобный текст
- распознавание текста на изображениях чеков
- автоматический разбор полей ресторанных чеков
Ограничения
Модель дообучена на CORD и ориентирована на структуру чеков, поэтому её качество и формат вывода могут ухудшаться на других типах документов, изображениях низкого качества или нестандартной разметке.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- VisionEncoderDecoderModel
- Ревизия весов
- 862a2bf