/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
1,5 млрд
Лицензия
Apache 2.0
Архитектура
videollama3_qwen2 · dense
Базовая модель
VideoLLaMA3-2B-Image
Библиотека
transformers
Опубликована
17 июн 2025

VideoRefer-VideoLLaMA3-2B

Генерация текстаТекст → текст3 профессии

Дообученная мультимодальная модель для анализа объектов и их пространственно-временных отношений в видео и ответов на вопросы по видеоролику.

54скачиваний за 30 дней7лайковвеса обновлены19 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VideoRefer-VideoLLaMA3-2B — мультимодальная модель DAMO-NLP-SG для пространственно-временного понимания объектов в видео и ответов на вопросы о них. Это дообученная версия VideoLLaMA3-2B-Image; в архитектуре VideoLLaMA3 с языковым декодером Qwen2.5-1.5B-Instruct. Модель содержит 1,5 млрд параметров, принимает видео и текстовые запросы, поддерживает контекст до 32 768 токенов и рассчитана на английский язык.

Модель подходит для поиска и описания объектов в видео, анализа их положения и изменений во времени, а также для диалоговых вопросов о содержимом ролика. Карточка проекта указывает, что VideoRefer Suite принята на CVPR 2025. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • ответы на вопросы о содержимом видео
  • поиск объектов в видео по текстовому описанию
  • описание положения объектов в кадре
  • анализ перемещений объектов во времени
  • сравнение объектов и событий между кадрами

Ограничения

Языковая поддержка в карточке указана для английского языка. Качество может зависеть от сложности сцены и точности текстового запроса.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

📰 News

🌏 Model Zoo

Model NameVisual EncoderLanguage Decoder
VideoRefer-VideoLLaMA3-7BVL3-SigLIP-NaViTQwen2.5-7B-Instruct
VideoRefer-VideoLLaMA3-2B (This Checkpoint)VL3-SigLIP-NaViTQwen2.5-1.5B-Instruct
VideoRefer-7Bsiglip-so400m-patch14-384Qwen2-7B-Instruct
VideoRefer-7B-stage2siglip-so400m-patch14-384Qwen2-7B-Instruct
VideoRefer-7B-stage2.5siglip-so400m-patch14-384Qwen2-7B-Instruct

📑 Citation

If you find VideoRefer Suite useful for your research and applications, please cite using this BibTeX:

@InProceedings{Yuan_2025_CVPR,
    author    = {Yuan, Yuqian and Zhang, Hang and Li, Wentong and Cheng, Zesen and Zhang, Boqiang and Li, Long and Li, Xin and Zhao, Deli and Zhang, Wenqiao and Zhuang, Yueting and Zhu, Jianke and Bing, Lidong},
    title     = {VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR)},
    month     = {June},
    year      = {2025},
    pages     = {18970-18980}
}

@article{damonlpsg2025videollama3,
  title={VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding},
  author={Boqiang Zhang, Kehan Li, Zesen Cheng, Zhiqiang Hu, Yuqian Yuan, Guanzheng Chen, Sicong Leng, Yuming Jiang, Hang Zhang, Xin Li, Peng Jin, Wenqi Zhang, Fan Wang, Lidong Bing, Deli Zhao},
  journal={arXiv preprint arXiv:2501.13106},
  year={2025},
  url = {https://arxiv.org/abs/2501.13106}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Архитектура videollama3_qwen2 неизвестна transformers в образе рантайма.

Класс архитектуры
Videollama3Qwen2ForCausalLM
Ревизия весов
f9eb33d

0 моделей