Характеристики

Размер весов: 32,9 ГБ
Лицензия: MIT
Архитектура: flamingo · dense
Опубликована: 26 июл 2023

Ссылки

Hugging Face

Flamingo-Llama2-Chat7B-CC3M

luodian

Генерация текстаТекст → текст3 профессии

Мультимодальная модель Flamingo на базе Llama 2 Chat 7B для генерации текстовых описаний изображений по запросу.

93скачиваний за 30 дней10лайковвеса обновлены27 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

luodian/Flamingo-Llama2-Chat7B-CC3M — это мультимодальная модель семейства Flamingo, разработанная авторами репозитория на основе Llama 2 Chat 7B и обученная на CC3M. Авторы сообщают, что обучение на четырёх A100 заняло менее пяти часов.

Модель предназначена для генерации текстовых описаний изображений, в том числе в режиме zero-shot. Она принимает изображение и текстовый запрос, а результат выдаёт в виде текста. В README отмечено, что качество данных для описания изображений помогает быстрее согласовать визуальную и языковую части модели.

В метаданных указаны архитектура Flamingo, формат PyTorch и лицензия MIT. README описывает перспективные способности к captioning, но не приводит количественных оценок качества; результаты могут зависеть от качества входного изображения и запроса.

Сценарии применения

генерация кратких описаний изображений
zero-shot описание изображений без примеров в запросе
ответы текстом на запросы об изображении

Ограничения

В README заявлены перспективные способности к описанию изображений, но количественные оценки качества не приведены. Результат может зависеть от качества данных и входного изображения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TLDR: We trained a Flamingo with Llama2-Chat7B as LLM on CC3M in less than 5 hours using just 4 A100s.

The model showed promising zero-shot captioning skills. High-quality captioning data really helps fast alignment.

You could test it via following code. Be sure to visit Otter to get necessary Flamingo/Otter models.

from flamingo.modeling_flamingo import FlamingoForConditionalGeneration
flamingo_model = FlamingoForConditionalGeneration.from_pretrained("luodian/Flamingo-Llama2-Chat7B-CC3M", device_map=auto)
prompt = "<image>an image of"
simple_prompt = "<image>"

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура flamingo неизвестна transformers в образе рантайма.

Класс архитектуры: FlamingoForConditionalGeneration
Ревизия весов: 33caa26