Xenova/vit-gpt2-image-captioning — это модель для автоматического создания текстовых описаний изображений.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Она основана на nlpconnect/vit-gpt2-image-captioning, разработана для использования с библиотекой Transformers.js и содержит веса в формате ONNX, совместимом с этим окружением. Репозиторий Xenova предоставляет веб-совместимое представление исходной модели.
Модель предназначена для задач image captioning: по изображению она генерирует текстовое описание, что подходит для автоматической аннотации изображений и интеграции функций компьютерного зрения в веб-приложения. В README не указаны точные размеры модели, параметры архитектуры, поддерживаемые языки, максимальная длина контекста, дополнительные модальности или конкретные показатели качества.
Ключевое ограничение — модель ориентирована на описание изображений и не предназначена для общего диалога или генерации произвольного текста. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в карточке исходной модели nlpconnect/vit-gpt2-image-captioning и связанных файлах репозитория.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
https://huggingface.co/nlpconnect/vit-gpt2-image-captioning with ONNX weights to be compatible with Transformers.js.
Note: Having a separate repo for ONNX weights is intended to be a temporary solution until WebML gains more traction. If you would like to make your models web-ready, we recommend converting to ONNX using 🤗 Optimum and structuring your repo like this one (with ONNX weights located in a subfolder named onnx).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers.js
Модель выложена для браузера (ONNX / transformers.js), для GPU-рантайма нет весов.