Ollama_Quantised_LLaVA-NeXT-Video-7B-DPO

Базовую модель разработала команда LLaVA-VL/LLaVA-NeXT; она построена на языковой модели Vicuna-7B-v1.5 и предназначена для диалогового понимания видео, отдельных изображений и нескольких изображений одновременно с генерацией текстовых ответов. Версия DPO дополнительно выровнена с помощью Direct Preference Optimization.

Модель относится к классу vision-language и сочетает языковой декодер LLaMA/Vicuna с визуальным энкодером CLIP и проектором LLaVA. Заявленный размер — около 7 млрд параметров; в репозитории доступны варианты GGUF F16, F32 и Q8_0, а в Ollama опубликован вариант Q4_K_M. Указан контекст 4096 токенов. Для обработки видео исходная модель обычно равномерно выбирает до 32 кадров; поддерживаемые естественные языки и отдельные языковые ограничения явно не указаны, поэтому модель не следует считать специализированной для конкретного языка.

Сильная сторона — возможность анализировать визуальный контент, включая видео и наборы изображений, локально и с уменьшенными требованиями к памяти благодаря квантизации. Ограничения — качество зависит от формата и длительности видео, выбранного числа кадров и ресурсов запуска; в описании Ollama прямо указано, что модель работает не так, как ожидается. В репозитории ManishThota отдельная лицензия не указана; для исходной LLaVA-NeXT-Video-7B-DPO на Hugging Face указана лицензия Llama 2 Community License.