/ Модель
Каталог

Характеристики

Архитектура
vision-encoder-decoder · dense
Опубликована
28 апр 2024

Ссылки

Hugging Face

SwinV2-GPT2_Mimic

ChayanM
Изображение и текст → текст3 профессии

Дообученная модель vision-encoder-decoder для генерации текста по изображению.

10скачиваний за 30 дней0лайковвеса обновлены28 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChayanM/SwinV2-GPT2_Mimic — дообученная модель архитектуры vision-encoder-decoder, опубликованная в формате safetensors. Она принимает изображение и генерирует текст; название указывает на сочетание SwinV2 и GPT-2, однако карточка не подтверждает состав архитектуры, базовую модель или назначение генерируемого текста. В README приведены результаты оценки: Loss 0,1623, Rouge-1 30,2654, Rouge-2 21,4825, Rouge-L 30,2471 и средняя длина генерации 9 токенов.

Модель может подходить для экспериментов с генерацией текста по изображениям, но датасет и конкретный сценарий применения не описаны. Лицензия в предоставленных данных не указана.

Сценарии применения

  • Эксперименты с генерацией описаний изображений
  • Проверка качества генерации текста по изображениям на собственных данных
  • Исследование архитектур vision-encoder-decoder

Ограничения

Датасет, целевой сценарий, базовая модель и лицензия не описаны. Приведённые метрики не сопровождаются сведениями о тестовом наборе и методике оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SwinV2-GPT2_Mimic

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1623
  • Rouge1: 30.2654
  • Rouge2: 21.4825
  • Rougel: 30.2471
  • Rougelsum: 30.3167
  • Gen Len: 9.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 4
  • eval_batch_size: 4
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 2

Training results

Training LossEpochStepValidation LossRouge1Rouge2RougelRougelsumGen Len
No log1.01250.170530.265421.482530.247130.31679.0
No log2.02500.162330.265421.482530.247130.31679.0

Framework versions

  • Transformers 4.37.1
  • Pytorch 1.13.1+cu117
  • Datasets 2.15.0
  • Tokenizers 0.15.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
d38a58e

0 моделей

    Создать бенчмарк