/ Модель

Характеристики

Лицензия
MIT
Архитектура
vision-encoder-decoder · dense
Опубликована
14 июн 2023

tiny-doc-qa-vision-encoder-decoder

Вопросы по документамИзображение, файл, текст → текст3 профессии

Компактная vision-encoder-decoder модель fxmarty для тестирования ответов на вопросы по изображениям документов.

3 851скачиваний за 30 дней16лайковвеса обновлены17 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание текста» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

fxmarty/tiny-doc-qa-vision-encoder-decoder — компактная модель для ответов на вопросы по изображениям документов. Репозиторий fxmarty размечен для задачи document-question-answering и содержит архитектуру vision-encoder-decoder; карточка предлагает запуск через соответствующий pipeline Transformers.

Модель принимает изображение документа и вопрос в текстовой форме, а выдаёт текстовый ответ. Карточка указывает, что модель предназначена только для тестирования, поэтому её возможности и качество не следует считать подтверждёнными для производственного применения. Лицензия — MIT.

Сценарии применения

  • ответы на вопросы по сканам документов
  • поиск конкретных сведений на изображении документа
  • проверка демонстрационного пайплайна document-question-answering

Ограничения

В карточке указано, что модель предназначена только для тестирования; подтверждённые показатели качества и поддерживаемые языки не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

For testing purposes only

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
b4710bf

0 моделей