Характеристики
- Лицензия
- AGPL 3.0
- Архитектура
- vision-encoder-decoder · dense
- Опубликована
- 20 янв 2023
Ссылки
donut-refexp-combined-v1
Англоязычная vision-encoder-decoder модель Donut для поиска и идентификации элементов пользовательского интерфейса по текстовым описаниям на изображении.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ivelin/donut-refexp-combined-v1 — модель, разработанная пользователем Hugging Face ivelin и основанная на архитектуре vision-encoder-decoder Donut. Она обучена на наборе данных ivelin/rico_refexp_combined и предназначена для визуального понимания интерфейсов на английском языке.
Модель решает задачи визуального вопросно-ответного взаимодействия с элементами пользовательского интерфейса по текстовым описаниям и пространственным или визуальным признакам. Она может помогать находить элементы рядом с указанной подписью, выбирать компоненты по цвету и интерпретировать инструкции вроде «выберите текстовое поле рядом с именем» или «нажмите зелёную кнопку».
Модель ориентирована на сценарии автоматизации и навигации по графическим интерфейсам, где нужно сопоставить естественно-языковое описание с компонентом на изображении. Лицензия модели — AGPL-3.0.
Сценарии применения
- поиск поля рядом с указанной подписью
- выбор кнопки по цвету
- сопоставление текстовой инструкции с элементом интерфейса
- автоматизация навигации по скриншотам приложений
- визуальный вопросно-ответный анализ интерфейсов
Ограничения
Модель специализирована на англоязычных пользовательских интерфейсах и сценариях, представленных в данных RICO; её надёжность для других языков, типов изображений и нестандартных интерфейсов не подтверждена.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- VisionEncoderDecoderModel
- Ревизия весов
- dbc77ca