/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Лицензия
Apache 2.0
Архитектура
vision-encoder-decoder · dense
Базовая модель
Vit-GPT2-COCO2017Flickr-85k-09
Опубликована
19 июн 2024

Ссылки

Hugging Face

Vit-GPT2-COCO2017Flickr-85k-09

Image-Captioning-ML
Изображение и текст → текст5 профессий

Дообученная модель VisionEncoderDecoderModel, которая генерирует короткие текстовые подписи к изображениям.

64скачиваний за 30 дней0лайковвеса обновлены21 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Image-Captioning-ML/Vit-GPT2-COCO2017Flickr-85k-09 — дообученная модель архитектуры VisionEncoderDecoderModel для создания текстовых описаний изображений. В качестве базовой модели указана NourFakih/Vit-GPT2-COCO2017Flickr-85k-09; веса опубликованы в формате Safetensors, лицензия — Apache-2.0.

Модель принимает изображение и генерирует текстовую подпись. В README приведены результаты оценки: Loss 0,6343, ROUGE-1 38,8156, ROUGE-2 13,6737 и ROUGE-L 34,9479; длина генерации в оценке — около 12 токенов. Данные обучения и сведения о языках в карточке не раскрыты, поэтому назначение для конкретного языка или предметной области не подтверждено.

Сценарии применения

  • автоматическое создание подписей к изображениям
  • краткое описание фотографий для каталога
  • генерация текстовых альтернатив к изображениям
  • индексация изображений по автоматически созданным подписям

Ограничения

README не сообщает данные обучения и предполагаемые ограничения; качество подтверждено только приведёнными метриками на оценочном наборе. Языки генерируемых подписей по доступным данным определить нельзя.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейIV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934моделиI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Vit-GPT2-COCO2017Flickr-85k-09

This model is a fine-tuned version of NourFakih/Vit-GPT2-COCO2017Flickr-85k-09 on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.6343
  • Rouge1: 38.8156
  • Rouge2: 13.6737
  • Rougel: 34.9479
  • Rougelsum: 34.9604
  • Gen Len: 12.1285

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 4
  • eval_batch_size: 4
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 16
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 3.0

Training results

Training LossEpochStepGen LenValidation LossRouge1Rouge2RougelRougelsum
0.24290.093350011.7380.535139.444614.159935.612335.5846
0.25370.1866100012.34880.530139.533214.474535.64435.6159
0.25640.2799150012.24550.519839.829714.55535.859835.8344
0.25850.3732200011.85750.520739.455814.049635.559735.526
0.25790.4665250011.97330.518839.135914.12535.406835.3709
0.25880.5599300012.2780.519639.083114.065835.460835.4283
0.26180.6532350011.99420.519439.75114.44336.07636.0475
0.25790.7465400012.05120.510239.760114.509536.025235.9857
0.25690.8398450011.64830.519939.39813.887135.721835.6911
0.2530.9331500012.01980.520039.895114.414635.88335.8507
0.23611.0264550012.1830.560539.335214.223435.310735.2772
0.21.1197600011.85980.570239.218414.009635.547535.5042
0.20341.2130650011.8780.554339.711814.275735.761335.7316
0.19681.3063700012.17250.558439.184713.900335.396235.3713
0.19861.3996750011.83950.557239.442814.267235.735935.7093
0.19881.4930800011.99320.555239.271914.041135.48235.4833
0.19711.5864850012.10030.557239.268114.103635.446635.4245
0.19781.6797900012.11520.566739.267314.091835.417935.4169
0.19371.7730950012.22080.578139.411514.111535.695235.6834
0.18971.86631000011.88180.575439.205914.07635.339235.3332
0.18981.95961050011.88180.572039.403314.144735.59835.5976
0.16852.05291100012.05850.618638.462613.469534.737834.7294
0.14542.14621150011.94480.614738.533513.515234.707534.7033
0.14342.23951200012.18550.622939.004413.927635.222635.2116
0.14792.33281250012.02730.626238.628113.573734.824734.8245
0.14522.42611300012.02220.624338.913613.672735.059735.0643
0.14642.51951350012.0060.630938.991513.504134.997134.9991
0.14312.61281400012.06020.631838.759513.558534.830834.834
0.14312.70611450012.2290.627738.889913.734334.953634.9513
0.14452.79951500012.03430.635738.768113.584934.976434.9564
0.13792.8928155000.634038.919613.628534.976134.985512.1242
0.14112.9861160000.634338.815613.673734.947934.960412.1285

Framework versions

  • Transformers 4.41.2
  • Pytorch 2.1.2
  • Datasets 2.19.2
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модель не помещается в память одной GPU (80 ГБ).

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
239ad82

0 моделей

    Создать бенчмарк