/ Модель
Каталог

Характеристики

Контекст
100 токенов
Архитектура
vision-encoder-decoder · dense
Библиотека
transformers
Опубликована
1 июл 2026

Ссылки

Hugging Face

swin-gpt-NWPU-captioning

swadhindas324
Изображение и текст → текст4 профессии

Модель на архитектуре VisionEncoderDecoderModel, дообученная для генерации текстовых описаний изображений.

8скачиваний за 30 дней0лайковвеса обновлены1 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

swin-gpt-NWPU-captioning — модель для создания текстовых описаний изображений, опубликованная пользователем swadhindas324 на Hugging Face. Она построена на архитектуре VisionEncoderDecoderModel и дообучена для задачи image-text-to-text; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers.

Модель принимает изображение и генерирует текстовое описание. В README приведены результаты оценки: Loss 0,5339, Accuracy 85,19, BLEU-1 0,8630, BLEU-4 0,6472, METEOR 0,7734, ROUGE-L 0,7624 и CIDEr 1,8392. Карточка не раскрывает базовую модель, обучающий набор данных, поддерживаемые языки, контекст или условия лицензии, поэтому область применения и качество за пределами указанной оценки определить нельзя.

Сценарии применения

  • Автоматическое создание подписей к изображениям
  • Формирование кратких описаний фотографий
  • Добавление текстовых описаний к коллекции изображений

Ограничения

В README не указаны базовая модель, обучающие данные, языки и условия лицензии. Приведённые метрики относятся только к неописанному набору оценки, поэтому их нельзя уверенно переносить на другие изображения и сценарии.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейIV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934моделиI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

swin-gpt-NWPU-captioning

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.5339
  • Accuracy: 85.19
  • Bleu-1: 0.8630
  • Bleu-2: 0.7745
  • Bleu-3: 0.7039
  • Bleu-4: 0.6472
  • Meteor: 0.7734
  • Rouge-l: 0.7624
  • Cider: 1.8392

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 50
  • optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1024
  • num_epochs: 128
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossAccuracyBleu-1Bleu-2Bleu-3Bleu-4MeteorRouge-lCider
0.79021.019690.496285.070.82310.72030.64070.57780.71960.70621.6480
0.48332.039380.472684.850.83440.73450.65290.58780.73370.72021.6506
0.44903.059070.469185.10.85740.76570.69100.63070.76390.74861.7462
0.42454.078760.467884.650.85720.76850.69600.63760.77480.75651.7604
0.40685.098450.472385.140.86160.77190.69950.64140.77810.76321.8423
0.38896.0118140.477885.360.86910.78610.71860.66390.77550.76981.8639
0.37117.0137830.484985.00.85990.77010.69810.63980.78150.76631.8020
0.35538.0157520.491985.260.86720.77880.70710.64890.77750.76671.8345
0.33969.0177210.503385.10.86210.77490.70520.64900.76900.76171.8219
0.323010.0196900.519285.210.85920.77200.70170.64410.77360.76311.8233
0.308811.0216590.533985.190.86300.77450.70390.64720.77340.76241.8392

Framework versions

  • Transformers 5.12.1
  • Pytorch 2.12.1+cu130
  • Datasets 5.0.0
  • Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
8c6dc4a

0 моделей

    Создать бенчмарк