Характеристики

Контекст: 1 024 токена
Лицензия: Apache 2.0
Архитектура: vision-encoder-decoder · dense
Базовая модель: vit-base-patch16-224-in21k
Опубликована: 18 мар 2024

Ссылки

distilvit

Описание изображенийИзображение → текст3 профессии

Экспериментальная модель на базе ViT и дистиллированного GPT-2 для создания подписей и альтернативного текста к изображениям.

506скачиваний за 30 дней31лайквеса обновлены25 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mozilla/distilvit — экспериментальная модель для генерации текстовых описаний изображений. Это архитектура vision-encoder-decoder: зрительный энкодер на основе ViT сочетается с текстовым декодером на основе дистиллированного GPT-2. В метаданных базовой моделью указан google/vit-base-patch16-224-in21k; README также сообщает о Distilled GPT-2 в декодере.

Модель дообучалась на наборах изображений и подписей COCO 2017 и Flickr30k, а также на изображениях Pexels и наборах DocOrNot и Alt Text Validation. Её основная задача — создавать подписи и альтернативный текст к изображениям. Репозиторий содержит веса PyTorch, Safetensors и ONNX. Модель опубликована по лицензии Apache-2.0.

README характеризует модель как находящуюся в разработке, поэтому её качество и надёжность могут быть нестабильными. Метаданные указывают задачу генерации текста по изображению, но не сообщают размер модели, длину контекста или поддерживаемые естественные языки.

Сценарии применения

создание подписей к изображениям
генерация альтернативного текста для доступности
автоматическое описание фотографий
подготовка текстовых описаний для каталогов изображений

Ограничения

Модель обозначена как работа в процессе, поэтому её качество и надёжность могут быть нестабильными. Поддерживаемые языки в источниках не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilvit

This model is a work in progress. Fine-tuned version of those base models:

a VIT model for the image encoder: https://huggingface.co/google/vit-base-patch16-224-in21k
a Distilled GPT-2 model for the text decoder: https://huggingface.co/distilbert/distilgpt2

This model was trained on:

You can find the code used to create the model here: https://github.com/mozilla/distilvit

training results

{
  "train/loss": 0.0781,
  "train/learning_rate": 0.00003793103448275862,
  "train/epoch": 2.41,
  "train/global_step": 700,
  "eval/loss": 0.09741172194480896,
  "eval/rouge1": 60.382,
  "eval/rouge2": 38.0754,
  "eval/rougeL": 56.9132,
  "eval/rougeLsum": 56.9214,
  "eval/meteor": 0.5448683804505693,
  "eval/gen_len": 9.864678265672467,
  "eval/runtime": 343.0443,
  "eval/samples_per_second": 10.555,
  "eval/steps_per_second": 0.108,
  "train/train_runtime": 10567.9413,
  "train/train_samples_per_second": 27.414,
  "train/train_steps_per_second": 0.274,
  "train/total_flos": 9039628706135409000,
  "train/train_loss": 0.09852950266429356,
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модель выложена для браузера (ONNX / transformers.js).

Класс архитектуры: VisionEncoderDecoderModel
Ревизия весов: e78ec2f