/ Модель

Характеристики

Контекст
131 072 токена
Параметры
1,2 млрд
Лицензия
Apache 2.0
Архитектура
cambrian_llama · dense
Опубликована
23 окт 2024

LongVU_Llama3_2_1B

Генерация текстаТекст → текст3 профессии

Видеоязыковая модель LongVU на 1,2 млрд параметров для диалога и ответов на вопросы по видеозаписям.

16скачиваний за 30 дней12лайковвеса обновлены28 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vision-CAIR/LongVU_Llama3_2_1B — видеоязыковая модель с архитектурой CambrianLlamaForCausalLM и 1,2 млрд параметров. Репозиторий предоставляет веса в формате PyTorch; модель предназначена для диалога по видео и ответов на вопросы о его содержимом. Заявленная длина контекста — 131 072 токена.

Модель можно применять для описания видеосцен и поиска ответов по содержимому видеозаписей. Лицензия — Apache-2.0. Карточка README не содержит дополнительных сведений о языках, обучении или ограничениях качества.

Сценарии применения

  • ответы на вопросы о содержимом видео
  • описание сцен видеозаписи
  • поиск событий в длинном видео

Ограничения

README не содержит сведений о языковой поддержке и оценках качества; фактическая точность на конкретных типах видео не установлена по предоставленным данным.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Citation

@article{shen2024longvu,
    title={LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding},
    author={Shen, Xiaoqian and Xiong, Yunyang and Zhao, Changsheng and Wu, Lemeng and Chen, Jun and Zhu, Chenchen and Liu, Zechun and Xiao, Fanyi and Varadarajan, Balakrishnan and Bordes, Florian and Liu, Zhuang and Xu, Hu and J. Kim, Hyunwoo and Soran, Bilge and Krishnamoorthi, Raghuraman and Elhoseiny, Mohamed and Chandra, Vikas},
    journal={arXiv:2410.17434},
    year={2024}
  }

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура cambrian_llama неизвестна transformers в образе рантайма.

Класс архитектуры
CambrianLlamaForCausalLM
Ревизия весов
ad50bcc

0 моделей