I.10Видео, анимация и 3D

ERNIE-Image-Turbo — модель генерации изображений по текстовому описанию, разработанная командой ERNIE-Image компании Baidu. Это дистиллированная версия ERNIE-Image на основе одно-поточной архитектуры Diffusion Transformer (DiT), распространяемая в формате Diffusers с весами Safetensors и лицензией Apache 2.0. Модель предназначена для быстрого создания изображений по сложным запросам: она генерирует результат за 8 шагов и рассчитана на сценарии, где важны точное следование инструкции и композиция. Среди заявленных сильных сторон — отрисовка длинного текста, постеры, инфографика, комиксы, раскадровки и многопанельные макеты; также поддерживаются фотореалистичные и стилизованные изображения. Авторы сообщают, что модель может запускаться на потребительских GPU с 24 ГБ видеопамяти. Модель принимает текстовые запросы и выдаёт изображения. В карточке показаны результаты тестов на английском и китайском языках, но другие поддерживаемые языки не перечислены. Качество зависит от запроса и сценария; результаты бенчмарков в README относятся к ERNIE-Image, а не отдельно к Turbo, поэтому их нельзя напрямую считать оценкой этой версии.

zeromodels/grounding_dino_tiny — это конверсия Grounding DINO Tiny, опубликованная проектом zeromodels. Модель выполняет обнаружение объектов по текстовому запросу в режиме open-set: вместо фиксированного набора классов она ищет на изображении объекты, названные пользователем. Архитектура включает визуальный энкодер Swin-Tiny, текстовый энкодер BERT и декодер, который предсказывает ограничивающие рамки и оценивает их соответствие словам запроса. Модель предназначена для поиска объектов по произвольным текстовым описаниям без отдельного обучения на каждый класс. Реализация выполнена на Keras 3 и работает с бэкендами TensorFlow, Torch и JAX. Для Torch README предупреждает о риске нехватки памяти при инференсе без отключения построения градиентов; качество результатов также зависит от формулировки запроса и порога оценки. Лицензия — Apache 2.0.

mPLUG-Owl3-7B-241101 — мультимодальная модель семейства mPLUG-Owl3, разработанная командой авторов проекта mPLUG-Owl. Она предназначена для диалога и понимания изображений, последовательностей изображений и видео. Архитектура — плотная модель с 7,1 млрд параметров; заявленная длина контекста составляет 32 768 токенов. Ключевая особенность семейства — механизм Hyper Attention: авторы сообщают об ускорении понимания длинных визуальных последовательностей в шесть раз и обработке последовательностей до восьми раз длиннее. README также заявляет сохранение качества на задачах с одним и несколькими изображениями и видео. В карточке указана поддержка английского языка и чат-возможности. Лицензия — Apache-2.0.

Карточка модели allenai/SAGE-MM-Molmo2-8B-SFT_RL на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.

Карточка модели computer-vision-ai-lab/dinov3-vits16-pretrain-lvd1689m на Hugging Face совпадает с карточкой facebook/dinov3-vits16-pretrain-lvd1689m, поэтому описание составлено по ней. facebook/dinov3-vits16-pretrain-lvd1689m — визуальный энкодер семейства DINOv3, разработанного Meta AI и доступного через библиотеку Transformers. Модель относится к архитектуре Vision Transformer (ViT-S) с патчами 16×16 и обучена на веб-данных LVD-1689M; в карточке указано, что малые модели семейства дистиллированы из ViT-7B. Размер ViT-S — 21 млн параметров, размерность эмбеддингов — 384, используются четыре регистрационных токена и RoPE. Модель принимает изображение и извлекает признаки: токен класса, токены патчей и регистрационные токены. Полученные представления предназначены для классификации изображений, поиска похожих изображений, сегментации, оценки глубины и других задач компьютерного зрения, в том числе с простыми классификаторами поверх замороженных признаков. Модель рассчитана на универсальное визуальное представление и не требует дообучения для многих сценариев; размер изображения должен быть кратен 16, иначе оно обрезается до ближайшего меньшего размера, кратного размеру патча. В карточке отмечено, что качество признаков может различаться между географическими регионами и категориями дохода, а дообучение способно усилить смещения, связанные с метками. Модель распространяется по лицензии DINOv3 License (в метаданных обозначена как other); перед использованием следует проверить её условия.

Карточка модели cont1037/dinov3-vits16-pretrain-lvd1689m на Hugging Face совпадает с карточкой facebook/dinov3-vits16-pretrain-lvd1689m, поэтому описание составлено по ней. facebook/dinov3-vits16-pretrain-lvd1689m — визуальный энкодер семейства DINOv3, разработанного Meta AI и доступного через библиотеку Transformers. Модель относится к архитектуре Vision Transformer (ViT-S) с патчами 16×16 и обучена на веб-данных LVD-1689M; в карточке указано, что малые модели семейства дистиллированы из ViT-7B. Размер ViT-S — 21 млн параметров, размерность эмбеддингов — 384, используются четыре регистрационных токена и RoPE. Модель принимает изображение и извлекает признаки: токен класса, токены патчей и регистрационные токены. Полученные представления предназначены для классификации изображений, поиска похожих изображений, сегментации, оценки глубины и других задач компьютерного зрения, в том числе с простыми классификаторами поверх замороженных признаков. Модель рассчитана на универсальное визуальное представление и не требует дообучения для многих сценариев; размер изображения должен быть кратен 16, иначе оно обрезается до ближайшего меньшего размера, кратного размеру патча. В карточке отмечено, что качество признаков может различаться между географическими регионами и категориями дохода, а дообучение способно усилить смещения, связанные с метками. Модель распространяется по лицензии DINOv3 License (в метаданных обозначена как other); перед использованием следует проверить её условия.

aufklarer/Qwen3-ForcedAligner-0.6B-4bit — 4-битная версия Qwen/Qwen3-ForcedAligner-0.6B, подготовленная для запуска на Apple Silicon через MLX. Модель принимает аудио и соответствующий ему текст и за один проход без авторегрессивной генерации предсказывает временные метки слов. В описанной конфигурации аудиокодировщик и классификационная голова работают в float16, а текстовый декодер квантизирован до 4 бит с размером группы 64. Модель предназначена для выравнивания текста с речью: например, чтобы получить таймкоды слов для субтитров или транскрипта. Класс временной метки соответствует интервалу 80 мс. Поддерживаемые языки включают английский, китайский, японский, корейский, немецкий, французский, испанский, итальянский и русский. Репозиторий распространяется по лицензии Apache-2.0. Это производная модель, указанная как дообученная на базе Qwen/Qwen3-ForcedAligner-0.6B; README описывает её как 4-битную MLX-версию для Apple Silicon. Такое сжатие уменьшает точность весов декодера; модель требует пар аудио и текста и сама по себе не предназначена для распознавания речи из необработанного аудио.

Xoron-Dev-MultiMoe — мультимодальная модель семейства Xoron, опубликованная командой Xoron-Dev и представленная в репозитории Backup-bdg. В метаданных указаны архитектура MoE, 256,5 млн параметров, библиотека Transformers и контекст до 131 072 токенов. README заявляет обработку текста, изображений, видео и аудио, а также генерацию изображений, видео и речи. Для изображений описаны SigLIP-2 и сжатие TiTok, для видео — VidTok с обработкой до 32 кадров, для аудио — обработка сырого PCM и голосовой синтез. Модель позиционируется для мультимодального диалога, понимания визуального и аудиовизуального содержимого, работы с речью, генерации медиа и агентных сценариев с использованием инструментов. Среди заявленных характеристик — разреженная смесь экспертов и контекстное окно 128K. README также заявляет клонирование голоса по короткому образцу, но не приводит независимых оценок качества; описанные возможности и показатели следует считать заявлениями автора. Лицензия репозитория — MIT. В метаданных основной задачей указана генерация текста, тогда как авторский pipeline-тег — any-to-any; для каталога основной задачей выбрана any-to-any, поскольку карточка описывает модель для мультимодального ввода и вывода.

InternVL3-9B — мультимодальная модель OpenGVLab семейства InternVL3 для диалога и задач, связывающих изображения с текстом. Она построена по схеме ViT-MLP-LLM: визуальный кодировщик InternViT соединён с языковой моделью через MLP-проектор. Для языковой части семейства используются предварительно обученные LLM, включая Qwen 2.5; в этой версии применяется динамическое разбиение изображений на фрагменты 448×448 и поддерживаются несколько изображений и видео. Модель предназначена для описания и анализа изображений, визуальных вопросов и ответов, мультимодальных рассуждений, понимания видео, GUI-сценариев, работы с инструментами и 3D-сцен. Подходит также для задач на чистом тексте. README описывает развитие возможностей в семействе InternVL3, но не приводит отдельные показатели качества или точную длину контекста именно этой модели. Метаданные связывают репозиторий с OpenGVLab/InternVL3-9B-Instruct как с базовой дообученной моделью; файлы представлены в формате safetensors. Лицензия — MIT.

OpenGVLab/InternVL3-14B-AWQ — квантованная AWQ-версия мультимодальной модели InternVL3-14B, разработанной OpenGVLab. Модель предназначена для задач image-text-to-text: анализа изображений и видео, ответов на вопросы по визуальному содержимому, мультимодального восприятия и рассуждений. Заявлены также сценарии использования инструментов, GUI-агентов, промышленного анализа изображений и 3D-восприятия. Архитектура построена по схеме ViT-MLP-LLM и объединяет зрительный модуль InternViT-300M-448px-V2_5, MLP-проектор и языковую часть Qwen2.5-14B. Используются динамическое разбиение изображений на фрагменты 448×448 пикселей, поддержка нескольких изображений и видео, а также Variable Visual Position Encoding (V2PE), улучшающее обработку длинного контекста. Модель заявлена как многоязычная, однако конкретный перечень языков и размер контекстного окна в README не указаны. Сильные стороны модели — мультимодальное восприятие и рассуждение, работа с изображениями, несколькими изображениями и видео, а также сниженные требования к памяти благодаря квантованию AWQ. Ограничения включают зависимость качества от точности квантования и аппаратной совместимости, а также отсутствие в представленных данных подробных результатов именно для этой квантованной версии. Лицензия указана как other с названием qwen и ссылкой на лицензию Qwen2.5-72B-Instruct.

InternVL3-8B-hf — реализация мультимодальной модели InternVL3 в формате Hugging Face Transformers, опубликованная OpenGVLab. Это плотная модель класса InternVLForConditionalGeneration с 8 млрд параметров, предназначенная для диалогов и генерации ответов по тексту и визуальным входам. Репозиторий поддерживает пакетный инференс с изображениями и чередующимися изображениями, видео и текстом; возможно также текстовое использование без изображения. Модель подходит для описания изображений и видео, визуальных вопросов и ответов, мультимодального рассуждения, а также сценариев GUI-агентов и анализа промышленных изображений. Семейство InternVL3 заявляет улучшенное по сравнению с InternVL 2.5 мультимодальное восприятие и рассуждение, а также возможности работы с инструментами и 3D-визуальным восприятием. Реализация рассчитана на библиотеку Transformers и поддерживает разные реализации attention, включая SDPA и FlashAttention 2. Это дообученная версия OpenGVLab/InternVL3-8B-Instruct. Карточка связывает семейство с мультиязычными сценариями, но не перечисляет конкретные языки. Лицензия указана как other; точные условия использования следует сверить с лицензией исходного проекта. Числовой размер контекста в доступных данных не приведён.

Карточка модели allenai/SAGE-MM-Qwen3-VL-4B-SFT на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.

Карточка модели allenai/SAGE-MM-Qwen3-VL-4B-SFT_RL на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.

Qwen3-VL-30B-A3B-Wanda-50 — разреженная версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, созданная Felix Nguyen с помощью GBLM-Pruner. К матрицам декодера применён метод Wanda: измеренная разреженность составляет 50%; формы тензоров и размер плотных файлов не изменены. Визуальный энкодер, маршрутизаторы MoE, эмбеддинги, нормализация и выходная голова оставлены плотными. Модель предназначена для диалоговой работы с изображениями и видео, включая ответы на вопросы по визуальному содержимому и OCR. Она принимает текст и изображения и выдаёт текст; в метаданных указаны возможности чата и зрения. Оценка RealWorldQA обозначена как отдельная и ещё не завершённая, поэтому подтверждённых заявлений о качестве нет. Использование распространяется по лицензии Apache-2.0.

Это доработанная независимым автором модель llmfan46 на основе Qwen3-VL-32B-Instruct: в ней применён метод abliteration, чтобы заметно снизить частоту отказов. Это плотная мультимодальная модель с архитектурой Qwen3-VL и 32 млрд параметров, предназначенная для диалога по изображениям и видео, распознавания текста на изображениях и визуального рассуждения. Она также принимает текстовые запросы и генерирует текстовые ответы; базовая модель заявляет контекст до 256 тыс. токенов с возможностью расширения до 1 млн и поддержку OCR на 32 языках. В тестах автора доля отказов снизилась до 4 из 100 против 99 из 100 у исходной модели. Точность на PIQA близка к исходной (92,87% против 93,09%), а на MMLU ниже (79,87% против 82,44%), поэтому изменение ограничений сопровождается некоторой потерей результатов на этом тесте. Модель распространяется по лицензии Apache-2.0. README описывает возможности и характеристики базовой Qwen3-VL; эти сведения не следует считать отдельной независимой оценкой данной доработки.

VideoPrism-LvT-B — фундаментальный видеоэнкодер, разработанный Google DeepMind. Модель принимает последовательность кадров и преобразует видео в компактные embedding-представления, которые можно использовать в классификаторах, LLM, системах поиска и retrieval-моделях. Вариант LvT дополнительно включает текстовый энкодер, поэтому поддерживает сопоставление видео и текста по косинусному сходству. Модель предназначена для классификации видео и действий, пространственно-временной локализации, video-text retrieval и open-set classification. Архитектура основана на факторизованном видеоэнкодере ViViT и включает Vision Transformer ViT-B, а также временные attention-слои Transformer; размер модели составляет 248 млн параметров, размер файла — около 991 МБ. Видео подаются в формате (num_frames, 288, 288, 3), а видео- и текстовый энкодеры формируют глобальные embedding-векторы. Для токенизации текста используется SentencePiece-модель c4_en. Поддерживается произвольное число кадров за счёт интерполяции временных позиционных embedding. Сильной стороной VideoPrism является высокая универсальность: на 31 из 33 публичных тестов в четырёх категориях задач модель превзошла предыдущие лучшие foundation-модели без дообучения на целевых наборах данных. Ограничения связаны с возможными смещениями и шумом обучающих данных, включая автоматически полученные текстовые транскрипции; также заявлена недостаточная проработка длинных видео, геометрической информации и несемантических признаков. Модель распространяется по лицензии Apache-2.0. Перед применением в чувствительных сценариях, включая наблюдение и модерацию, необходима отдельная оценка рисков безопасности и справедливости.

Qwen3-VL-4B-Thinking-FP8 — мультимодальная модель семейства Qwen, представленная в репозитории Qwen и основанная на Qwen3-VL-4B-Thinking. Это FP8-квантизированная версия с мелкозернистым квантованием и размером блока 128; заявлено, что её показатели почти идентичны исходной модели в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, а также для анализа видео. Модель ориентирована на визуальное понимание и рассуждение, включая распознавание текста на изображениях, анализ документов, STEM- и математические задачи, пространственное восприятие, понимание динамики видео, локализацию событий по временным меткам и визуальное программирование. Она также рассчитана на сценарии visual agent: распознавание элементов интерфейса ПК и мобильных устройств, понимание их функций, вызов инструментов и выполнение задач. Поддерживаются изображения, видео и текст; заявлен нативный контекст 256K с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. К архитектурным особенностям относятся Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и механизм выравнивания текста с временными метками. Сильными сторонами являются расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, OCR и мультимодальное рассуждение. Ограничение состоит в том, что на момент публикации README Transformers не поддерживал прямую загрузку этих весов; для развёртывания рекомендованы vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

InternVL3-78B-hf — мультимодальная модель OpenGVLab, представленная в реализации для Hugging Face Transformers и функционально эквивалентная оригинальному выпуску InternVL3-78B. Это плотная архитектура класса InternVLForConditionalGeneration с 78 млрд параметров; репозиторий содержит веса Safetensors и поддерживает инференс через Transformers. Модель предназначена для диалогов и генерации текста по текстовым запросам, изображениям и видео. Она может отвечать на вопросы по визуальному содержимому, выполнять визуальные рассуждения и обрабатывать чередующиеся текстовые, графические и видеоданные; семейство также ориентировано на сценарии использования инструментов, GUI-агентов, промышленный анализ изображений и 3D-восприятие. Карточка указывает многоязычную поддержку, но не перечисляет конкретные языки. Репозиторий основан на OpenGVLab/InternVL3-78B-Instruct и помечен как дообучение. Доступны варианты attention eager, SDPA и FA2, а также пакетный инференс. Модель создана для работы с Transformers; конкретная длина контекста в предоставленных данных не указана. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория и оригинального чекпойнта.

InternVL3-38B-Instruct — мультимодальная модель OpenGVLab для диалога и анализа изображений. Это версия SFT семейства InternVL3: она прошла мультимодальное предварительное обучение и supervised fine-tuning, но не этап MPO. Архитектура следует схеме ViT-MLP-LLM: визуальный модуль InternViT соединён через MLP-проектор с языковой моделью; обработка изображений использует динамическое разбиение на фрагменты 448×448 и позиционное кодирование V2PE. Модель также обучалась на видеоданных. Модель предназначена для ответов на вопросы по изображениям, мультимодальных рассуждений и понимания видео, а также для задач с интерфейсами GUI, инструментами и 3D-сценами. Семейство заявлено как мультиязычное; карточка описывает текстовые и визуальные возможности, однако точный размер параметров и длина контекста для этой версии в предоставленных данных не указаны. В сравнении с InternVL 2.5 авторы заявляют улучшение мультимодального восприятия и рассуждений. Модель доступна по лицензии Apache-2.0. Ограничения включают отсутствие этапа MPO у этой SFT-версии; для неизвестных изображений или видео возможны ошибки интерпретации, а качество и производительность зависят от используемых разрешений и вычислительных ресурсов.

InternVL3-78B-Instruct — мультимодальная чат-модель OpenGVLab, версия SFT семейства InternVL3. Она сочетает визуальный энкодер InternViT и языковую модель в архитектуре ViT-MLP-LLM; в этой версии использована плотная архитектура InternVLChatModel. Модель дообучена на базе OpenGVLab/InternVL3-78B-Pretrained и не проходила этап MPO. Разработчики рекомендуют использовать основную версию InternVL3-78B, если нет особой причины выбирать эту SFT-версию. Модель принимает текст, изображения и видео и формирует текстовые ответы. Она предназначена для диалога по изображениям и видео, визуального восприятия и рассуждений, понимания длинного контекста, анализа промышленных изображений и научных диаграмм, работы с GUI и 3D-сценами, а также использования инструментов. Динамическая обработка изображений разбивает их на фрагменты размером 448×448 пикселей; поддерживаются несколько изображений и видеоданные. Карточка заявляет многоязычную поддержку, но не перечисляет отдельные языки и размер контекстного окна. Модель распространяется в формате safetensors для Transformers. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке репозитория Hugging Face.

prithivMLmods/Qwen3-VL-8B-Thinking-abliterated-v1-GGUF — GGUF-квантизированная версия 8-миллиардной vision-language модели Qwen3-VL-8B-Thinking, разработанная prithivMLmods на базе модели Alibaba. Она предназначена для мультимодального понимания и генерации текста по изображениям и видео, включая описание сцен, визуальное рассуждение, анализ сложного или чувствительного контента, работу с художественными, техническими и абстрактными материалами, а также задачи OCR и визуальных датасетов. Модель ориентирована преимущественно на английский язык, при этом заявлена поддержка OCR на 32 языках и адаптация к многоязычным запросам. Модель поддерживает различные соотношения сторон и разрешения, видео, сложные макеты, пространственное восприятие, длинный контекст более 256K токенов и механизм Interleaved-MRoPE. Доступны варианты квантования от Q2_K до Q8_0, IQ4_XS и F16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ, а для мультимодального проектора требуются отдельные файлы mmproj. Для запуска в README указаны Transformers с GPU и ориентировочная потребность в 16–24 ГБ видеопамяти; также заявлена совместимость с llama.cpp. Сильными сторонами являются мультимодальное рассуждение, анализ изображений и видео, OCR, пространственное понимание и большой контекст. Abliterated-вариант позиционируется как менее ограниченный стандартными фильтрами, поэтому может генерировать откровенный или потенциально небезопасный контент и требует осторожного применения в продуктивных системах. Модель распространяется по лицензии Apache-2.0.

Qwen2-VL-72B — базовая предварительно обученная мультимодальная модель семейства Qwen2-VL, разработанная командой Qwen. Она содержит 71,5 млрд параметров и предназначена для понимания изображений и видео по текстовым запросам, включая визуальные вопросы и ответы, диалог по содержимому видео, анализ документов и создание описаний. Модель не проходила настройку инструкциями, поэтому для диалоговых сценариев может потребоваться дополнительная настройка. Архитектура — плотная Qwen2-VL с классом Qwen2VLForConditionalGeneration. Она обрабатывает изображения произвольного разрешения с динамическим числом визуальных токенов и использует M-ROPE для позиционной информации текста, изображений и видео. Видеосценарии включают анализ роликов длительностью более 20 минут. Контекст — до 32 768 токенов. Модель понимает текст на изображениях на английском, китайском и ряде других языков, включая европейские языки, японский, корейский, арабский и вьетнамский. Модель подходит для визуального анализа и мультимодальных сценариев, однако заявленные высокие результаты приведены в карточке без подробностей об условиях оценки. Для запуска потребуется значительный объём вычислительных ресурсов из-за размера модели. Лицензия указана как other; конкретные условия использования следует проверить в репозитории модели.

unsloth/Qwen2-VL-7B-Instruct-unsloth-bnb-4bit — мультимодальная инструкционная модель, основанная на Qwen/Qwen2-VL-7B-Instruct и опубликованная Unsloth. Она предназначена для задач image-text-to-text: анализа изображений и видео, ответов на вопросы по визуальному содержимому, работы с документами и визуального диалога. Модель также может использоваться в сценариях автоматизации устройств, включая мобильные телефоны и роботов, где требуется интерпретация визуальной среды и текстовых инструкций. Модель содержит 7B параметров и использует 4-битное квантование BnB с динамическим подходом Unsloth, который выборочно сохраняет часть параметров в более высокой точности для улучшения качества при сопоставимом потреблении VRAM. Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, а архитектура M-ROPE обрабатывает текстовые, двумерные визуальные и трёхмерные видеопозиции. Модель способна анализировать видео длительностью более 20 минут и распознавать тексты на английском, китайском, большинстве европейских языков, японском, корейском, арабском и вьетнамском языках. К сильным сторонам относятся мультимодальное понимание изображений и видео, работа с различными разрешениями и соотношениями сторон, а также сниженные требования к памяти благодаря квантованию. Ограничения, включая точный размер контекстного окна и возможные потери качества из-за квантования, в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

ZDTaichu5.0-9B-GGUF — это GGUF-квантизированная версия мультимодальной модели ZDTaichu5.0-9B, разработанной командой Zi Dong Tai Chu и преобразованной для использования с llama.cpp. Модель предназначена для понимания изображений, пространственного рассуждения, агентского взаимодействия с инструментами, задач embodied AI и анализа видео. Поддерживаются текстовые и визуальные входные данные, а заявленный контекст достигает 128K токенов (131 072). Указаны языки English и Chinese. В основе используется языковая модель Qwen3.5-9B и визуальный энкодер C-RADIOv4-H. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_0, Q3_K_M, IQ3_M и IQ3_XXS размером примерно от 3,94 до 9,53 ГБ. Для мультимодального режима требуется отдельный vision projector mmproj в формате BF16 размером 1,65 ГБ; для текстовых задач он необязателен. Модель можно запускать через llama.cpp и ускорять с помощью speculative decoding с совместимой draft-моделью DSpark. К сильным сторонам относятся мультимодальность, большой контекст, поддержка пространственного и визуального анализа, а также несколько вариантов квантизации для выбора компромисса между качеством и требованиями к памяти. Ограничения связаны с зависимостью мультимодального режима от совместимого runtime и projector, а поведение вызова инструментов зависит от серверной реализации и интеграции parser. Benchmark-показатели в README относятся к исходной модели TaichuAI/ZDTaichu5.0-9B, а не к данной GGUF-конверсии. Модель распространяется по лицензии Apache-2.0.

Карточка модели allenai/SAGE-MM-Qwen3-VL-8B-SFT на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.

GPT-5.4 Image 2 — мультимодальная модель OpenAI, объединяющая GPT-5.4 с возможностями генерации изображений GPT Image 2. Она предназначена для сценариев, где нужно сочетать рассуждение, программирование и работу с изображениями. Доступный фрагмент карточки не уточняет архитектуру, число параметров, поддерживаемые языки, длину контекста, конкретные режимы работы с изображениями или лицензию. Модель создана OpenAI; карточка Hugging Face датирована 21 апреля 2026 года.

gemma-3n-E4B-it-MLX-4bit — это 4-битная квантованная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google. Квантование в формате MLX предоставлено командой LM Studio с использованием mlx_vlm; модель оптимизирована для работы на устройствах с Apple Silicon. Модель предназначена для задач преобразования изображений, аудио и видео в текст, включая автоматическое распознавание и перевод речи, а также сценарии audio-text-to-text и video-text-to-text. В README не указаны точные архитектурные параметры, число параметров, поддерживаемые языки и размер контекстного окна. Ключевые преимущества — сниженное потребление памяти и вычислительных ресурсов благодаря 4-битной квантовании и адаптация к экосистеме Apple Silicon. Возможные ограничения связаны с потерей точности из-за квантования, а также с отсутствием в предоставленных данных подробных характеристик качества и совместимости. Для доступа и использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в её тексте.

Qwen3-VL-30B-A3B-Thinking-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF проектом Unsloth. Модель предназначена для генерации текста на основе текстовых и визуальных входных данных, включая анализ изображений и видео, визуальное рассуждение, OCR, понимание пространственных отношений, решение задач STEM и математики, а также взаимодействие с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру и относится к reasoning-ориентированной версии Thinking; заявленный размер — 30B параметров при 3B активных параметрах. Поддерживаются текст, изображения и видео. Контекст составляет 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временного и пространственного позиционирования, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — мультимодальное понимание, визуальное и пространственное рассуждение, обработка длинного контекста и видео, распознавание текста в сложных условиях, а также генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео. Ограничения, требования к ресурсам, точные показатели производительности и конкретные параметры GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0; в репозитории Unsloth также отмечены исправления chat template.

InternVL3-38B-Instruct-GGUF — мультимодальная instruction-tuned модель, опубликованная Unsloth на основе OpenGVLab/InternVL3-38B. Это SFT-версия InternVL3: она прошла нативное мультимодальное предварительное обучение и дообучение с учётом инструкций, но не проходила MPO. Модель предназначена для понимания изображений и текста, мультимодального восприятия и рассуждений, работы с инструментами, создания GUI-агентов, промышленного анализа изображений и задач 3D-восприятия. Заявлена поддержка multilingual-сценариев. Архитектура построена по схеме ViT-MLP-LLM и включает визуальную часть InternViT-6B-448px-V2_5 и языковую часть Qwen2.5-32B; общий размер семейства для этой конфигурации — 38B параметров. Распространяемая версия представлена в формате GGUF и использует квантизацию Unsloth Dynamic 2.0, однако конкретный вариант квантизации, требования к памяти и размер контекста в предоставленных данных не указаны. Сильными сторонами являются сочетание анализа изображений с генерацией текста, мультимодальное рассуждение и широкий спектр прикладных сценариев. Модель может быть менее подходящей для задач, требующих точных гарантий фактической корректности, а значительный размер и мультимодальная архитектура предполагают высокие требования к вычислительным ресурсам. Для выбора между версиями семейства авторы рекомендуют рассмотреть базовую InternVL3-38B. В метаданных указана лицензия Apache-2.0; также приведена ссылка на лицензию Qwen.

MIO-7B-Base — базовая мультимодальная авторегрессионная модель, разработанная командой M-A-P и соавторами из исследовательских организаций. Она предназначена для генерации и понимания текста, изображений, речи и видео в единой последовательности токенов. В основе — плотная архитектура LLaMA с 5,8 млрд параметров; модель использует дискретные представления разных модальностей и контекст до 4096 токенов. Исследовательская работа описывает сценарии визуальных вопросов и ответов, распознавания и синтеза речи, создания подписей к видео, редактирования изображений и смешанной генерации текста с изображениями. Модель основана на Yi-6B-Base и дообучена для мультимодальных задач; переданные метаданные также связывают её с Yi-6B-Chat. Для этой версии в карточке указана лицензия Apache-2.0. Публикация сообщает о конкурентных результатах в ряде тестов, но отмечает сложности с вычислительной стоимостью длинных мультимодальных контекстов и разрешением генерируемых изображений. Указанный в метаданных pipeline_tag — text-generation; мультимодальные задачи и характеристики описаны в публикации о семействе MIO.