/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
videollama3_qwen2 · dense
Базовая модель
Qwen2.5-7B-Instruct
Библиотека
transformers
Опубликована
17 июн 2025

VideoRefer-VideoLLaMA3-7B

Генерация текстаТекст → текст3 профессии

Видеоязыковая модель для ответов на вопросы о пространственном расположении и перемещении объектов в видео.

62скачиваний за 30 дней13лайковвеса обновлены19 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VideoRefer-VideoLLaMA3-7B — видеоязыковая модель команды DAMO-NLP-SG для пространственно-временного понимания объектов в видео. Она предназначена для диалога о видеороликах и ответов на вопросы о том, где и когда появляются объекты и как они перемещаются.

Модель объединяет визуальный энкодер VL3-SigLIP-NaViT с языковым декодером Qwen2.5-7B-Instruct и содержит 7,1 млрд параметров. Она принимает видео вместе с текстовым запросом и генерирует текстовый ответ; нативный контекст — 32 768 токенов. В README указано, что версия выпущена в июне 2025 года в рамках проекта VideoRefer Suite, принятого на CVPR 2025.

Модель доступна по лицензии Apache-2.0. Описание подтверждает специализацию на пространственно-временном понимании объектов; подробные сведения о точности и ограничениях на типы или длительность видео не приведены.

Сценарии применения

  • ответы на вопросы о содержании видеоролика
  • определение местоположения объекта в разные моменты видео
  • описание перемещения объектов во времени
  • диалог о событиях и объектах в видео

Ограничения

В источниках не приведены результаты оценки качества и подробные ограничения по поддерживаемым видеоформатам, длительности ролика или частоте кадров.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

📰 News

🌏 Model Zoo

Model NameVisual EncoderLanguage Decoder
VideoRefer-VideoLLaMA3-7B (This Checkpoint)VL3-SigLIP-NaViTQwen2.5-7B-Instruct
VideoRefer-VideoLLaMA3-2BVL3-SigLIP-NaViTQwen2.5-1.5B-Instruct
VideoRefer-7Bsiglip-so400m-patch14-384Qwen2-7B-Instruct
VideoRefer-7B-stage2siglip-so400m-patch14-384Qwen2-7B-Instruct
VideoRefer-7B-stage2.5siglip-so400m-patch14-384Qwen2-7B-Instruct

📑 Citation

If you find VideoRefer Suite useful for your research and applications, please cite using this BibTeX:

@InProceedings{Yuan_2025_CVPR,
    author    = {Yuan, Yuqian and Zhang, Hang and Li, Wentong and Cheng, Zesen and Zhang, Boqiang and Li, Long and Li, Xin and Zhao, Deli and Zhang, Wenqiao and Zhuang, Yueting and Zhu, Jianke and Bing, Lidong},
    title     = {VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM},
    booktitle = {Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR)},
    month     = {June},
    year      = {2025},
    pages     = {18970-18980}
}

@article{damonlpsg2025videollama3,
  title={VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding},
  author={Boqiang Zhang, Kehan Li, Zesen Cheng, Zhiqiang Hu, Yuqian Yuan, Guanzheng Chen, Sicong Leng, Yuming Jiang, Hang Zhang, Xin Li, Peng Jin, Wenqi Zhang, Fan Wang, Lidong Bing, Deli Zhao},
  journal={arXiv preprint arXiv:2501.13106},
  year={2025},
  url = {https://arxiv.org/abs/2501.13106}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
Videollama3Qwen2ForCausalLM
Ревизия весов
7bc9c5c

0 моделей