/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,9 млрд
Размер весов
16,8 ГБ
Архитектура
InternLMXComposer · dense
Опубликована
13 дек 2023

ShareCaptioner

Генерация текстаТекст → текст3 профессии

ShareCaptioner — дообученная мультимодальная модель для создания подробных текстовых описаний изображений.

48скачиваний за 30 дней57лайковвеса обновлены6 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ShareCaptioner — модель для создания подробных описаний изображений, разработанная Lin-Chen и дообученная на базе InternLM-Xcomposer-7B. Она обучалась в ноябре 2023 года на 100 тысячах пар «изображение — текст», где подписи были созданы с помощью GPT-4 Vision. Модель рассчитана на ввод изображений с разрешением 448×448 и генерирует текстовые подписи; её архитектура — плотная InternLMXComposerForCausalLM, размер — 6,9 млрд параметров, контекст — 2048 токенов.

Модель предназначена для исследователей и любителей компьютерного зрения, NLP и машинного обучения, которым нужны детальные подписи к изображениям. В метаданных Hugging Face основной тег задачи — feature-extraction, однако карточка описывает именно генерацию подписей, поэтому основная задача каталога — image-to-text. Репозиторий содержит веса PyTorch. Лицензия в доступных данных не указана.

Сценарии применения

  • создание подробных подписей к изображениям
  • автоматическое описание изображений для каталогов
  • подготовка текстовых описаний для датасетов компьютерного зрения

Ограничения

Обучающие изображения и целевое разрешение ограничены форматом 448×448; качество и поведение за пределами описанного сценария в доступных данных не охарактеризованы.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ShareCaptioner Model Card

Model details

Model type: ShareCaptioner is an open-source captioner fine-tuned on GPT4-Vision-assisted ShareGPT4V detailed caption data with a resolution of 448x448. ShareCaptioner is based on the improved InternLM-Xcomposer-7B base model.

Model date: ShareCaptioner was trained in Nov 2023.

Paper or resources for more information: [Project] [Paper] [Code]

License

Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.

Intended use

Primary intended uses: The primary use of ShareCaptioner is about producing high-quality image captions.

Primary intended users: The primary intended users of the model are researchers and hobbyists in computer vision, natural language processing, machine learning, and artificial intelligence.

Finetuning dataset

  • 100K GPT4-Vision-generated image-text pairs

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
InternLMXComposerForCausalLM
Ревизия весов
a2679a4

0 моделей