/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3-VL-8B-Instruct
Опубликована
30 сен 2026

CamVLM-8B

Компьютерное зрениеВидео, текст → текст

CamVLM-8B — дообученная мультимодальная модель для анализа видео наблюдения и выбора действий камерой для получения нужных визуальных данных.

13скачиваний за 30 дней2лайкавеса обновлены4 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CamVLM-8B — мультимодальная модель для анализа видео с камер наблюдения, разработанная на основе Qwen3-VL-8B-Instruct и дообученная авторами с помощью SFT и RL. Она предназначена для понимания сцен видеонаблюдения в пассивном режиме и при динамическом изменении точки обзора, а также для выбора действий камеры, позволяющих получать более детальные визуальные свидетельства. Модель обучена на наборах CCTV-Anomaly и CamTrack-53K.

CamVLM-8B принимает видео и текстовые инструкции, а выдаёт текстовые ответы и параметризованные действия управления камерой. Для применения на реальной камере эти параметры нужно преобразовать в команды с учётом характеристик оборудования. Модель распространяется в формате safetensors по лицензии Apache-2.0. Подробные результаты сравнений и инструкции по воспроизведению приведены в статье и репозитории проекта.

Сценарии применения

  • анализ сцен на видео с камер наблюдения
  • поиск визуальных свидетельств для ответа на вопрос о видеозаписи
  • анализ видео при фиксированной или динамической точке обзора
  • выбор направления и параметров поворота камеры наблюдения
  • подготовка команд управления поворотной камерой по результатам анализа видео

Ограничения

Для работы на реальной камере предсказанные параметры точки обзора нужно преобразовать в команды с учётом диапазона поворота, поля зрения, разрешения и зума оборудования. Подробные результаты оценки и инструкции по воспроизведению находятся в статье и репозитории проекта.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CamVLM-8B

📑 Paper | 💻 Code | 🤗 Model & Datasets

✨ Model Description

CamVLM-8B is an LVLM with state-of-the-art surveillance video understanding performance among open-source models, fine-tuned from Qwen3-VL-8B-Instruct. It can actively control real-world surveillance cameras to continuously acquire task-relevant fine-grained visual evidence. It is trained with the carefully crafted SFT and RL training recipe proposed in our paper, utilizing our high-quality training datasets CCTV-Anomaly and CamTrack-53K.

📊 Performance

CamVLM-8B achieves state-of-the-art surveillance understanding performance under three settings:

  • Conventional full-frame passive viewpoint
  • Center passive viewpoint (simulating a local camera-view region within the panoramic observation space)
  • Dynamic viewpoint (simulating a local camera-view region within the panoramic observation space)

Please refer to our paper for detailed results.

🚀 Usage

For result reproduction, please refer to the usage instructions in our GitHub repository. To deploy CamVLM-8B on real-world surveillance cameras, the parameterized viewpoint actions predicted by the model can be converted into executable camera commands according to the hardware specifications of the target camera, such as the horizontal/vertical rotation range, field of view, angular resolution, and optical zoom or focal-length range.

📝 Citation

If you find our work helpful for your research and applications, please cite our paper:

@article{zhang2026thinking,
  title={Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding},
  author={Zhang, Xiao and Zeng, Wang and Jin, Sheng and Liu, Wentao and Qian, Chen and Kan, Shichao},
  journal={arXiv preprint arXiv:2609.06475},
  year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
6aaed8f

0 моделей