/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
16,9 ГБ
Лицензия
Apache 2.0
Архитектура
videorefer_qwen2 · dense
Библиотека
transformers
Опубликована
31 дек 2024

VideoRefer-7B

Генерация текстаТекст → текст3 профессии

Мультимодальная модель на базе Qwen2 и SigLIP для диалоговых вопросов об объектах и событиях в видео.

40скачиваний за 30 дней5лайковвеса обновлены31 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VideoRefer-7B — мультимодальная модель DAMO-NLP-SG для понимания пространственно-временных характеристик объектов в видео. В архитектуре dense объединены визуальный энкодер SigLIP SO400M patch14-384 и языковой декодер Qwen2-7B-Instruct; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов.

Модель предназначена для диалоговых вопросов о видео, в том числе для определения объектов и их поведения во времени. В обучении использовалось 16 кадров. В метаданных указаны задачи text-generation и visual-question-answering, причём основная задача автора — visual-question-answering. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Сценарии применения

  • ответы на вопросы о содержимом видео
  • поиск и описание объектов в видеопоследовательности
  • определение пространственных отношений между объектами
  • анализ действий объектов во времени

Ограничения

В обучении использовалось 16 кадров, поэтому анализ временных деталей может быть ограничен. В карточке не приведены результаты оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🌏 Model Zoo

Model NameVisual EncoderLanguage Decoder# Training Frames
VideoRefer-7Bsiglip-so400m-patch14-384Qwen2-7B-Instruct16
VideoRefer-7B-stage2siglip-so400m-patch14-384Qwen2-7B-Instruct16
VideoRefer-7B-stage2.5siglip-so400m-patch14-384Qwen2-7B-Instruct16

📑 Citation

If you find VideoRefer Suite useful for your research and applications, please cite using this BibTeX:

@article{yuan2024videorefersuite,
  title = {VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM},
  author = {Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing},
  journal={arXiv},
  year={2024},
  url = {}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Архитектура videorefer_qwen2 неизвестна transformers в образе рантайма.

Класс архитектуры
VideoReferQwen2ForCausalLM
Ревизия весов
a664c74

0 моделей