/ Модель
Каталог

Характеристики

Контекст
100 токенов
Архитектура
vision-encoder-decoder · dense
Библиотека
transformers
Опубликована
1 июл 2026

Ссылки

Hugging Face

vit-gpt-NWPU-captioning

swadhindas324
Изображение и текст → текст

Дообученная vision-encoder-decoder модель, которая создаёт текстовые описания изображений.

7скачиваний за 30 дней0лайковвеса обновлены1 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

vit-gpt-NWPU-captioning — дообученная модель для создания текстовых описаний изображений. Она построена на архитектуре vision-encoder-decoder и опубликована в формате safetensors для библиотеки Transformers. Карточка сообщает метрики оценки: BLEU-1 0,8526, BLEU-4 0,6274, METEOR 0,7682, ROUGE-L 0,7527 и CIDEr 1,7556.

Модель принимает изображение и выдаёт текстовое описание. Название указывает на связь с NWPU, однако описание не раскрывает обучающий набор данных, базовую модель, языки подписей или предполагаемые сценарии применения. Лицензия в предоставленных данных не обозначена.

Сценарии применения

  • автоматическое создание подписей к изображениям
  • генерация кратких описаний фотографий
  • подготовка текстовых описаний для коллекций изображений

Ограничения

В карточке не раскрыты базовая модель, обучающие данные, поддерживаемые языки, лицензия и ограничения применения; приведённые метрики не сопровождаются описанием набора и протокола оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

vit-gpt-NWPU-captioning

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.6254
  • Accuracy: 85.1
  • Bleu-1: 0.8526
  • Bleu-2: 0.7615
  • Bleu-3: 0.6873
  • Bleu-4: 0.6274
  • Meteor: 0.7682
  • Rouge-l: 0.7527
  • Cider: 1.7556

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 50
  • optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1024
  • num_epochs: 128
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossAccuracyBleu-1Bleu-2Bleu-3Bleu-4MeteorRouge-lCider
0.82411.019690.502385.060.82020.71300.63270.56990.71790.70201.6309
0.48552.039380.478884.880.83710.73740.65660.59260.73980.72351.6648
0.44993.059070.475485.10.84760.75610.68210.62360.75430.74131.7213
0.42604.078760.471084.490.84770.75750.68520.62680.77050.75331.7417
0.40665.098450.476385.140.86180.77280.70170.64410.77030.75831.8203
0.38836.0118140.479185.280.86540.77750.70760.65130.76690.76251.8222
0.36867.0137830.488384.910.85670.76690.69410.63510.77700.76061.7645
0.34998.0157520.498385.090.86090.77440.70480.64800.77520.76321.8206
0.33139.0177210.511984.990.86040.77290.70270.64560.77580.76211.8067
0.311510.0196900.531585.260.86520.77990.71120.65490.78350.77001.8623
0.294011.0216590.551585.110.85490.76360.69210.63450.76640.75371.7845
0.277512.0236280.575785.10.85080.75750.68320.62350.75880.74681.7401
0.245813.0255970.589085.130.85100.75510.68000.62010.75770.74451.7500
0.229514.0275660.611585.250.85000.75840.68590.62720.75930.75031.7433
0.220415.0295350.625485.10.85260.76150.68730.62740.76820.75271.7556

Framework versions

  • Transformers 5.12.1
  • Pytorch 2.12.1+cu130
  • Datasets 5.0.0
  • Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
5e4f819

0 моделей

    Создать бенчмарк