Характеристики

Контекст: 4 096 токенов
Параметры: 6,6 млрд
Размер весов: 14,1 ГБ
Лицензия: Llama 2
Архитектура: vstream · dense
Опубликована: 18 июн 2024

Ссылки

Hugging Face arXiv 2406.08085

Flash-VStream-7b

IVGSZ

Генерация текстаТекст → текст3 профессии

Flash-VStream — видеоязыковая модель для обработки длинных видеопотоков и ответов на вопросы об их содержимом.

95скачиваний за 30 дней17лайковвеса обновлены26 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Flash-VStream — видеоязыковая модель семейства VStream, разработанная для понимания видеопотоков и ответов на вопросы о них. Она моделирует механизм памяти и предназначена для обработки длинных видеопотоков в реальном времени с одновременным ответом на запросы пользователя.

Модель имеет плотную архитектуру VStreamLlamaForCausalLM и содержит 6,6 млрд параметров; нативная длина контекста — 4096 токенов. Она обучалась на изображениях и видео, включая данные LAION/CC/SBU, WebVid и ActivityNet, а также мультимодальные инструкции и вопросы-ответы. В метаданных основная задача указана как text-generation, поэтому для каталога это тег следует считать главным.

Модель ориентирована на видеопонимание и диалог по содержимому видео. Доступны веса PyTorch; лицензия указана как llama2. Карточка не приводит результатов оценки качества или подробных условий развёртывания.

Сценарии применения

ответы на вопросы о содержимом видео
диалог по длинной видеозаписи
понимание событий и действий в видео
анализ видеопотока в реальном времени

Ограничения

В карточке нет результатов оценки качества и подробных сведений о требованиях к развёртыванию. Заявление об обработке длинных потоков в реальном времени не сопровождается количественными характеристиками скорости или максимальной длительности видео.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Flash-VStream Model Card

Model details

We proposed Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously.

Training data

This model is trained based on image data from LLaVA-1.5 dataset, and video data from WebVid and ActivityNet datasets following LLaMA-VID, including

558K filtered image-text pairs from LAION/CC/SBU, captioned by BLIP.
158K GPT-generated multimodal instruction-following data.
450K academic-task-oriented VQA data mixture.
40K ShareGPT data.
232K video-caption pairs sampled from the WebVid 2.5M dataset.
98K videos from ActivityNet with QA pairs from Video-ChatGPT.

License

This project is licensed under the LLAMA 2 License.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура vstream неизвестна transformers в образе рантайма.

Класс архитектуры: VStreamLlamaForCausalLM
Ревизия весов: 6768223