I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельunsloth/Qwen3-VL-2B-Instruct — версия мультимодальной модели Qwen3-VL-2B-Instruct, подготовленная Unsloth; это плотная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration и весами в формате safetensors. Она принимает текст и изображения, а также предназначена для анализа видео в диалоге: отвечает на вопросы по визуальным данным, распознаёт текст, рассуждает о пространственных отношениях и помогает взаимодействовать с графическими интерфейсами и инструментами. Карточка базовой модели указывает контекст 256 тысяч токенов с возможностью расширения до миллиона; README также заявляет поддержку OCR на 32 языках и обработку длинных видео. Модель подходит для описания изображений и видео, извлечения текста из документов, визуальных вопросов и ответов, генерации кода интерфейсов по визуальному примеру и сценариев с визуальными агентами. README отмечает исправления шаблона чата Unsloth; для llama.cpp требуется параметр --jinja. Заявления о качестве и производительности приведены без таблиц результатов в доступном README. Лицензия — Apache-2.0.
GLM-4.5V — мультимодальная модель зрения и языка семейства GLM-V, разработанная ZhipuAI. Она основана на GLM-4.5-Air — текстовой модели с 106 млрд параметров и 12 млрд активных параметров — и дообучена для работы с визуальными данными. Модель предназначена для понимания изображений, видео и документов, визуальных рассуждений и взаимодействия с графическими интерфейсами. Модель анализирует сцены и несколько изображений, распознаёт события в длинных видео, разбирает графики и документы, читает экран и помогает выполнять операции в GUI. Также поддерживается локализация визуальных объектов с выдачей ограничивающих рамок. Режим Thinking позволяет выбирать между быстрым ответом и более глубоким рассуждением. Карточка заявляет высокие результаты на 42 публичных бенчмарках VLM; контекст, число параметров самой GLM-4.5V и поддерживаемые разрешения для этой версии в предоставленных данных не указаны. Модель принимает визуальные данные и текстовые запросы, а отвечает текстом, в том числе координатами рамок. Лицензия — MIT.
Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-NVFP4 — мультимодальная модель для задач image-text-to-text, разработанная Solstice-AI на основе экспериментальной модели DeepSeek-V4-Flash-Vision-Exp от DeepSeek. Она предназначена для анализа изображений и текста, визуального контроля качества, распознавания объектов и текста на изображениях, а также текстовой генерации и многошагового рассуждения в сценариях, требующих большого контекста. Модель имеет архитектуру MoE с 305 млрд параметров, 256 маршрутизируемыми экспертами и примерно 13 млрд активируемых параметров на токен; заявлено 43 слоя. Контекстное окно составляет 1 048 576 токенов, используется native YaRN. Зрительная часть включает 32-слойный Vision Transformer и работает в формате BF16. Эксперты квантизированы в SafeTensors NVFP4: W4A4, group size 16, с block-scale calibration. Ключевая особенность — bit-exact транскодирование MXFP4 в NVFP4 без заявленной потери точности. Модель оптимизирована для NVIDIA Blackwell, включая B200, GB200, DGX Spark и RTX 5090, а также для vLLM и TensorRT-LLM. Согласно README, к сильным сторонам относятся сохранение качества базовой модели на GSM8K, тестах извлечения данных из длинного контекста и мультимодальном visual question answering; для vision QA заявлены точное совпадение ответов и время до первого токена менее 50 мс. Ограничения связаны с экспериментальным статусом, специализированной поддержкой оборудования NVIDIA Blackwell и зависимостью от совместимых inference-движков. Модель распространяется по лицензии MIT; упаковка и сопровождение выполнены Solstice-AI, а квантизационный pipeline создан с использованием NVIDIA TensorRT ModelOpt.
Qwen3-VL-8B-Instruct-abliterated-v1-GGUF — мультимодальная модель для преобразования изображений и текста в текст, разработанная prithivMLmods на основе Qwen3-VL-8B-Instruct от Alibaba. Это GGUF-сборка 8-миллиардной vision-language модели, предназначенная для локального запуска с использованием llama.cpp и совместимых инструментов. Модель ориентирована на описание изображений, визуальное рассуждение, выполнение инструкций, анализ сложного визуального контента, OCR, понимание видео и агентские сценарии. Заявлены поддержка 32 языков для OCR, контекстное окно до 262K токенов, пространственное рассуждение, различные разрешения, соотношения сторон и компоновки. Основным языком считается английский, при этом заявлена возможность работы с многоязычными запросами. Доступны квантизованные варианты от Q2_K до Q8_0, IQ4_XS и F16, а также отдельный мультимодальный проектор mmproj. Размер файлов варьируется примерно от 3,28 до 16,4 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Вариант подвергнут abliteration, то есть модификации, направленной на устранение отказов по соображениям безопасности и контентных фильтров. Это может быть полезно для исследований, red-teaming, творческих и технических задач, однако одновременно означает отсутствие обычных защитных ограничений и повышенные риски получения нежелательного или небезопасного контента. Для запуска заявлена совместимость с Transformers и vLLM; для вариантов BF16/FP8 указаны требования порядка 16–24 ГБ видеопамяти. Модель распространяется по лицензии Apache-2.0.
InternVL3-14B — мультимодальная модель OpenGVLab из семейства InternVL3, представленная в репозитории как дообученная версия InternVL3-14B-Instruct. Она построена по схеме ViT-MLP-LLM: визуальный энкодер InternViT соединён через MLP-проектор с языковой моделью. В семействе используются компоненты на основе Qwen 2.5 и InternLM 3; размер этой версии — 14 млрд параметров. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалога и анализа изображений, видео и текста: визуальных вопросов и ответов, мультимодального рассуждения, понимания видео и работы с несколькими изображениями. В README также описаны сценарии использования инструментов, GUI-агентов, анализа промышленных изображений и 3D-визуального восприятия. Поддерживаются динамическое разбиение изображений на фрагменты 448×448 пикселей и обработка изображений и видео; каталог помечает модель как многоязычную. Вариант лицензии — Apache 2.0. Среди заявленных особенностей — предобучение на смешанных текстовых и мультимодальных данных и улучшенное понимание длинного контекста благодаря V2PE. README не приводит численную длину контекста именно этой модели. Качество результатов зависит от входных данных и задачи; несколько изображений увеличивают число визуальных токенов и требуемый объём контекста.
Isaac-0.2-2B-Preview — компактная гибридная vision-language модель компании PerceptronAI с плотной архитектурой IsaacForConditionalGeneration и 1,7 млрд параметров. Она принимает изображения и текст, поддерживает диалоговый режим и рассчитана на контекст до 40 960 токенов. Модель предназначена для визуального рассуждения и восприятия: распознаёт текст на документах, схемах, экранах и в сложных сценах, помогает разбирать изображения, понимать интерфейсы и выполнять задачи навигации на компьютере. Также заявлены структурированные ответы, короткие рассуждения и вызов инструментов, включая увеличение и кадрирование области изображения для детального анализа. Разработчик позиционирует её для робототехники, поиска по медиаматериалам и промышленного контроля; модель рассчитана на работу с умеренными вычислительными ресурсами. В карточке заявлены улучшения распознавания текста, локализации объектов и понимания мелких деталей, однако независимые результаты оценки не приведены. Метаданные указывают английский язык и формат Safetensors. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
lmstudio-community/Qwen2.5-VL-3B-Instruct-GGUF — мультимодальная инструкционная модель Qwen2.5-VL-3B-Instruct, разработанная Qwen и представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для задач анализа изображений и текста, включая распознавание объектов, интерпретацию текстов, диаграмм, графиков, значков и макетов в изображениях. Модель поддерживает контекст до 128 тысяч токенов, заявлена как мультиязычная и может формировать структурированные ответы, включая стабильный JSON. Она также предназначена для сценариев визуального агента с рассуждением и динамическим управлением инструментами, в том числе для взаимодействия с компьютером и телефоном. К сильным сторонам относятся анализ визуальной информации и работа со структурированными данными; конкретные ограничения, результаты тестов и перечень поддерживаемых языков в README не указаны. Лицензия — qwen-research.
Qwen3-VL-4B-Instruct-abliterated-v1-GGUF — мультимодальная vision-language модель от prithivMLmods, основанная на Alibaba Qwen3-VL-4B-Instruct. Это GGUF-версия модели примерно с 4 млрд параметров, изменённая методом abliteration для удаления стандартных отказов и фильтров безопасности. Модель предназначена для генерации текста по изображениям и инструкциям, подробного описания визуального содержимого, визуального рассуждения и выполнения инструкций в сложных, чувствительных, художественных и технических сценариях. Модель поддерживает анализ изображений и видео, OCR на 32 языках, работу с различными разрешениями и соотношениями сторон, а также контекст до 256K токенов. Она подходит для разбора пользовательских интерфейсов, извлечения данных из документов, интерпретации графиков, captioning и агентских задач. Основным языком указан английский, при этом заявлена возможность работы с многоязычными запросами. Доступны варианты квантования GGUF размером примерно от 1,06 до 8,05 ГБ, что позволяет запускать модель на потребительских GPU; для BF16 указано требование около 10–12 ГБ VRAM. Сильной стороной является сочетание мультимодального анализа, длинного контекста, OCR и отсутствия обычных защитных отказов, что может быть полезно для исследований, red-teaming и творческих приложений. Ограничением является потенциально менее безопасное поведение из-за удаления защитных механизмов, а также возможное снижение качества при использовании наиболее агрессивных вариантов квантования. Модель распространяется по лицензии Apache-2.0.
Vontra/GLM-5.3-Flash-MLX-oQ2-MTP — это MLX-конверсия и квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Модель предназначена для генерации текста и изображений, обработки языковых и визуальных запросов, а также локального запуска на компьютерах Apple Silicon через MLX и совместимые компоненты oMLX. Заявлены поддерживаемые языки английский и китайский. Модель использует архитектуру glm5_next с разреженной Mixture-of-Experts, гибридным линейным и разреженным вниманием и контекстом до 1 048 576 токенов. Применена посттренировочная weight-only-квантизация sensitivity-guided oQ2 со смешанной точностью и эффективным распределением около 2,67 бита на вес. Большинство весов имеют точность Q2 или Q8, отдельные компоненты — Q4, а зрительный энкодер и проектор сохранены в BF16. Репозиторий содержит 22 файла весов общим объёмом около 110 ГБ. Вариант сохраняет встроенный слой предсказания следующего токена и поддерживает Native MTP с глубиной 1, что может повышать пропускную способность. Однако MTP указан как экспериментальный: в проверенном окружении результаты были связными, но не полностью совпадали с базовым режимом, поэтому для точной детерминированной воспроизводимости его следует отключать. Совместимость проверена с oMLX 0.6.3rc3, MLX 0.32.0, mlx-lm 0.31.3 и mlx-vlm 0.6.3; другие версии могут не поддерживать необходимые пути glm5_next, oQ и Native MTP. Модель распространяется по лицензии MIT.
unsloth/LFM2.5-VL-3B-GGUF — это квантизированный вариант мультимодальной модели LFM2.5-VL-3B, разработанной Liquid AI и опубликованной сообществом Unsloth. Модель предназначена для обработки текста и изображений, прежде всего на устройствах с ограниченными ресурсами и для сценариев с низкой задержкой. GGUF-экспорты оптимизированы для запуска на CPU с уменьшенным потреблением памяти через llama.cpp. В основе модели находится языковая модель LFM2.5-2.6B, дополненная vision-энкодером SigLIP2 NaFlex объёмом 400M параметров. Размер словаря составляет 128 000 токенов, длина контекста — до 32 768 токенов. Поддерживаются английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский, испанский, вьетнамский, тайский, индонезийский, хинди, русский и польский языки. Обработка изображений использует разбиение крупных изображений на неперекрывающиеся патчи 512×512 и уменьшенную копию всего изображения. Сильные стороны модели — распознавание объектов по текстовым запросам, улучшенный visual grounding, OCR целых страниц с разметкой структуры документа, а также высокая скорость и эффективность инференса. Она подходит для обнаружения объектов в автомобильных системах, пакетной обработки сканов и PDF, извлечения текста с сохранением layout, перевода меню и дорожных знаков, а также других однопроходных задач реального времени. Модель не рекомендуется для сложного рассуждения, длительных контекстов, визуального веб-дизайна и ответов на узкоспециализированные технические вопросы по чертежам. Лицензия указана как lfm1.0; подробные условия следует проверять в файле LICENSE репозитория.
Orsta-7B — мультимодальная модель зрения и языка, разработанная командой MiniMax-AI на основе Qwen2.5-VL-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и дообучена с помощью системы обучения с подкреплением V-Triune на восьми визуальных задачах. Она принимает изображения и текстовые запросы и предназначена для визуальных рассуждений и восприятия: ответов на вопросы по математике и науке, понимания диаграмм и решения головоломок, обнаружения и подсчёта объектов, визуальной локализации и OCR. Контекст составляет до 128 000 токенов; в карточке указан английский язык. Модель распространяется в формате safetensors через Transformers по лицензии MIT.
Qwen2.5-VL-3B-Instruct (Abliterated) — мультимодальная модель семейства Qwen, опубликованная пользователем wangkanai и основанная на Qwen2.5-VL-3B-Instruct. Это вариант с удалёнными или существенно ослабленными защитными фильтрами исходной модели, поэтому он может формировать менее ограниченные ответы. Модель принимает изображения и текст и генерирует текстовые ответы. Она предназначена для визуального ответа на вопросы, описания изображений, мультимодального рассуждения, анализа документов и OCR, интерпретации диаграмм и графиков, а также понимания сцен и пространственных отношений. Архитектура описана как Qwen2-VL с визуальным энкодером на базе ViT и примерно 3 миллиардами параметров; заявленная длина текстового контекста составляет 4096 токенов. Доступны варианты SafeTensors и GGUF, включая FP16, Q5_K_M и Q4_K_M, что позволяет выбирать между качеством и требованиями к памяти. Сильные стороны модели — сочетание обработки изображений и текста, поддержка широкого набора задач анализа визуального содержимого и возможность локального запуска в различных форматах. Ограничения включают меньший размер по сравнению с более крупными моделями семейства, возможные потери качества у квантованных вариантов и отсутствие в предоставленных данных подробной информации о поддерживаемых языках и результатах независимых тестов. Удаление защитных механизмов повышает риск небезопасных или нежелательных ответов, поэтому модель следует использовать ответственно и с соблюдением применимых законов. Модель распространяется по лицензии Apache-2.0.
AnandSingh/hunyuanocr-mlx — конверсия OCR-модели Tencent HunyuanOCR для запуска через Apple MLX на компьютерах Mac с Apple Silicon. Это плотная зрительно-языковая модель семейства Hunyuan-VL с архитектурой HunYuanVLForConditionalGeneration; в метаданных указано 463,5 млн параметров и контекст 32 768 токенов. Модель принимает изображения и текстовые инструкции, а в ответ может распознавать текст, извлекать сведения и разбирать документы. Модель предназначена для поиска текста на изображениях, разбора сложных документов и таблиц, распознавания формул и извлечения субтитров из видео. В README также заявлены перевод текста на фотографиях и высокие результаты в этих задачах, но сравнительные оценки не приведены. В примерах используются китайские инструкции; метаданные характеризуют языки модели как многоязычные. Для работы требуются Mac с Apple Silicon, macOS 14 или новее, Python 3.9+ и библиотеки MLX, Transformers, PyTorch и Pillow. Репозиторий использует формат safetensors. Указанная лицензия — other; конкретные условия необходимо сверить с карточкой модели. Конверсия не связана с Tencent и не одобрена компанией.
JSONify-Flux-Large — дообученная PrithivMLmods мультимодальная модель на архитектуре Qwen2-VL-7B-Instruct, настроенная на изображения, созданные Flux, и соответствующие им описания. Она предназначена для описания изображений, визуальных вопросов и рассуждений, распознавания текста на изображениях и решения математических задач с выводом в формате JSON; поддерживает многошаговый диалог и анализ видео. Модель содержит 7,1 млрд параметров, принимает изображения и текст, выдаёт текст, а максимальный контекст составляет 32 768 токенов. В карточке заявлена поддержка английского и китайского языков, а также распознавание текста на японском, арабском и ряде европейских языков. Веса опубликованы в формате Safetensors, библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит независимых сравнительных результатов, поэтому заявления о высокой точности и длительности поддерживаемого видео не следует считать подтверждёнными гарантиями качества.
NLLB-SigLIP-MRL — мультиязычная модель сопоставления изображений и текста, объединяющая текстовый энкодер NLLB с визуальным энкодером SigLIP. Модель предназначена для поиска соответствий между изображениями и текстовыми запросами или описаниями на 201 языке Flores-200. Модель формирует эмбеддинги размером 1152, а обучение с Matryoshka Representation Learning позволяет получать также векторы размером 32, 64, 128, 256 и 512. По данным карточки, варианты размером 256 и 512 сохраняют более 90% качества полного представления; модель показывает высокие результаты мультиязычного поиска на наборах XTD10 и Crossmodal-3600. Поддерживается библиотекой OpenCLIP и распространяется в формате PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для сопоставления изображений и текста; генерация изображений или описаний в свободной форме не заявлена.
Qwen3.8-27B-PrismaScout-AQUA-Vision-20GB — мультимодальная квантованная модель на базе Qwen/Qwen3.8-27B, опубликованная rdtand с использованием методики PrismaQuant. Она предназначена для обработки текста, изображений и видео, включая сценарии визуального анализа и генерации ответов по мультимодальным входным данным. Модель совместима с vanilla vLLM и не требует форка vLLM, специального загрузчика или плагинов. Модель сохраняет визуальный входной тракт Qwen3.8, языковую голову и MTP-голову. В языковой части 64 слоя и 496 Linear-компонентов распределены между NVFP4, FP8 E4M3 и BF16; визуальная башня и merger используют NVFP4 W4A4. Всего в checkpoint содержится 615 Linear-компонентов, а итоговый размер артефакта составляет около 19,98 млрд байт, то есть укладывается в ограничение 20 GB. NVFP4 использует 4-битные веса и активации с размером группы 16, FP8 — 8-битные веса и активации. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Сильная сторона модели — сочетание мультимодальности и существенного снижения размера при сохранении близкого к BF16 поведения: на указанном тесте прирост perplexity составил 3,0119%, а средняя KL-дивергенция относительно BF16-версии — 0,0439. Ограничения связаны с потерями квантования, возможными ошибками на нетипичных данных и отсутствием подробных сведений о качестве на широком наборе прикладных бенчмарков. Модель распространяется по лицензии Apache-2.0.
Qwen-3-VL-8B-Instruct-heretic — мультимодальная разговорная модель, созданная Heretic как декензурированная версия Qwen/Qwen3-VL-8B-Instruct с помощью Heretic v1.3.0. Это плотная архитектура Qwen3-VL с 8 млрд параметров, предназначенная для диалога по тексту и изображениям, визуального анализа и рассуждений. В README указано контекстное окно 256K токенов с возможностью расширения до 1M у базовой модели; метаданные подтверждают поддержку изображений и формат safetensors. Модель подходит для ответов на вопросы по изображениям, OCR, понимания видео и пространственных сцен, а также для визуального взаимодействия с интерфейсами. README сообщает о снижении отказов: 6 из 100 запросов против 100 из 100 у исходной модели; это может влиять на защитное поведение. Качество и заявленные возможности унаследованы от описания базовой Qwen3-VL, а отдельные показатели этой производной модели ограничены приведённой метрикой KL-дивергенции и отказов. Лицензия — Apache-2.0.
BAAI/BGE-VL-v1.5-zs — мультимодальная модель эмбеддингов для поиска по изображениям и тексту, разработанная командой BAAI в рамках семейства BGE-VL. Она дообучена на базе llava-hf/llava-v1.6-mistral-7b-hf и использует архитектуру LLaVA-NeXT с плотным представлением; для работы применяются Sentence Transformers и веса Safetensors. Модель принимает текст, изображения или их сочетание и формирует эмбеддинги для мультимодального поиска и сравнения сходства. В README указано, что изображения для этой модели следует приводить к размеру 512×512; инструкции в запросе можно использовать для представления входа как поискового запроса, а без них — как кандидата. Модель предназначена для поиска изображений по текстовому описанию, поиска по сочетанию изображения и текстового уточнения, а также для универсального мультимодального извлечения и сопоставления. В README семейство BGE-VL показывает сильные результаты в zero-shot-поиске с составными запросами по изображениям и на бенчмарке MMEB. Указанная лицензия — MIT. Карточка описывает результаты семейства и не приводит отдельные оценки именно этой версии; для корректной работы с изображениями требуется учитывать рекомендованный размер 512×512.
adidsh/indic-ocr-int8-onnx — созданная сообществом производная модели Indic-OCR от Bodhan AI / AI4Bharat, представленная в форматах ONNX и GGUF и предназначенная для локального распознавания и разбора документов. Она использует двухэтапный конвейер: RT-DETR находит и классифицирует области документа, затем визуально-языковая модель распознаёт текст в этих областях, сохраняя порядок чтения, переносы строк и структуру таблиц. Модель рассчитана на автономную работу с документами на английском и 22 индийских языках, в том числе на устройствах с CPU и без серверного GPU. Квантизированные варианты уменьшают размер и ускоряют выполнение; в README приведены результаты замеров на CPU x86_64 с AVX2. Указанная в карточке лицензия — other; README называет лицензию исходной модели Indic Open Model License v1.0 и требует атрибуции Bodhan AI / AI4Bharat.
Orsta-32B-0326 — мультимодальная модель для анализа изображений, созданная командой MiniMax-AI путём постобучения Qwen2.5-VL-32B-Instruct с помощью системы обучения с подкреплением V-Triune. Модель принимает изображения и текстовые запросы и предназначена для совместного решения задач визуального рассуждения и распознавания. В карточке заявлены задачи по математике, научным вопросам, графикам и головоломкам, а также обнаружению объектов, визуальной локализации, OCR и подсчёту объектов. Модель основана на плотной архитектуре Qwen2.5-VL, содержит 32 млрд параметров и имеет контекст длиной до 128 000 токенов. Репозиторий использует формат safetensors и библиотеку Transformers; заявлена поддержка диалога и зрения. Карточка приводит сравнительные результаты на нескольких бенчмарках, но не даёт здесь полного набора таблицы и подробной методики оценки. Лицензия — MIT.
Qwen3-VL-Embedding-2B-FP8-DYNAMIC — мультимодальная модель эмбеддингов, разработанная на базе Qwen3-VL-Embedding-2B от Qwen. Она предназначена для преобразования текста, изображений и их комбинаций в векторные представления, которые можно использовать для семантического поиска, сопоставления текстов и изображений, кластеризации и других задач, требующих сравнения мультимодальных данных. Модель ориентирована на эффективное развёртывание через vLLM и поддерживает OpenAI-совместимый API. Модель содержит около 2 млрд параметров и использует архитектуру Qwen3VLModel. Текстовые линейные слои квантизированы методом FP8_DYNAMIC: веса представлены в FP8 с поканальным симметричным квантованием, а активации квантизируются динамически по токенам. 24 визуальных блока сохраняются в формате bfloat16 для поддержания качества обработки изображений и межмодального выравнивания. Размер эмбеддинга по умолчанию составляет 2048, а благодаря Matryoshka-представлениям доступны сокращённые размерности от 64 до 2048, что позволяет экономить память и ускорять операции сравнения. Указано снижение потребления VRAM примерно на 50% по сравнению с версией bfloat16; размер модели составляет около 2,8 ГБ против 4,6 ГБ. К сильным сторонам относятся поддержка текстовых, визуальных и мультимодальных входов, гибкая размерность векторов и сохранение визуальных слоёв в полной точности. Ограничения README не описывает; для мультимодального режима требуется специальный формат запросов vLLM, а практическая совместимость зависит от корректной настройки pooling-режима и загрузки квантизированных весов. Модель распространяется по лицензии Apache 2.0.
WeMM-Embedding-2B-INT8 — мультимодальная модель для получения эмбеддингов, опубликованная ewin-reg. Это INT8-перекодировка модели ewin-reg/WeMM-Embedding-2B-Quantized, восходящей к tencent/WeMM-Embedding-2B; веса не дообучались и не дистиллировались. Модель построена на гибридной архитектуре Qwen3.5 с линейным и полным вниманием, а также визуальным трансформером; поддерживает Matryoshka-эмбеддинги размерностью от 64 до 2048. Размер файлов модели составляет около 1,94 ГБ. Модель предназначена для создания текстовых, изображенческих и видеоэмбеддингов, поиска по сходству и мультимодального поиска. Перекодировка весов позволяет запускать её на CPU, CUDA и Apple Silicon MPS со стандартным PyTorch. В README приведены измерения близкого совпадения эмбеддингов INT8-версии с FP8-вариантом и базовой моделью, однако это результаты ограниченных наборов запросов и изображений. В README указана лицензия «other» в метаданных, но её конкретные условия не приведены. Для использования следует проверить лицензию карточки и исходной модели.
Это мультимодальная модель для создания эмбеддингов, опубликованная пользователем ewin-reg и основанная на jinaai/jina-embeddings-v5-omni-small-retrieval с архитектурой Qwen3-VL-Audio. Она предназначена для семантического поиска и сопоставления текста, изображений и аудио в общем векторном пространстве. Согласно README, размер эмбеддингов составляет 1024 измерения; заявлена поддержка сокращения векторов средствами MRL. Модель использует смешанную квантизацию INT4 и FP8 и поставляется в формате SafeTensors; в метаданных также указана библиотека Sentence Transformers. Модель подходит для межмодального поиска, сравнения аудиофрагментов и ранжирования соответствий, в том числе в системах с ограничениями по памяти. Она извлекает представления, но не предназначена для генерации свободного текста или синтеза аудио. README сообщает, что для тонкой настройки квантизированные веса нужно сначала деквантизировать в BF16 или FP16. Лицензия — Apache-2.0.
Llama 4 Scout 17B 16E Instruct — мультимодальная инструкционная модель Meta для диалогов и визуального рассуждения. Она использует авторегрессионную архитектуру Mixture of Experts с ранним объединением модальностей; в активной конфигурации заявлено 17 млрд параметров и 16 экспертов. Модель принимает текст и изображения и предназначена для понимания изображений, визуального распознавания, создания описаний и ответов на вопросы по изображениям. Модель поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. В карточке указано, что проверено понимание до пяти входных изображений; для большего числа изображений требуется дополнительная проверка и настройка. Модель выпущена как статический чекпойнт, обученный на офлайн-данных. Для использования доступны веса в формате safetensors через Transformers. Лицензия — собственное коммерческое соглашение Llama 4 Community License; применение регулируется его условиями и Acceptable Use Policy.
llmfan46/Qwen3-VL-32B-Instruct-uncensored-heretic — версия Qwen3-VL-32B-Instruct, изменённая независимым автором методом abliteration для снижения частоты отказов. Это плотная мультимодальная модель на 32 млрд параметров с архитектурой Qwen3-VL, предназначенная для диалога по тексту и изображениям, визуального анализа, OCR и рассуждений по визуальным данным. В карточке описана поддержка видео и контекст до 256 тысяч токенов базовой модели; расширение до миллиона токенов заявлено для семейства Qwen3-VL. Автор приводит результаты PIQA и MMLU: на PIQA вариант набрал 93,31% против 93,09% у исходной модели, а на MMLU — 81,44% против 82,44%. В README также указаны 15 отказов из 100 тестовых запросов против 99 у оригинала. Эти результаты относятся к тестам автора и не гарантируют качество на других задачах. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.
Vela Omni Mini — мультимодальная модель семейства Vela Omni от разработчика llm-semantic-router. Она преобразует текст, изображения, речь и окружающие звуки в нормализованные векторы общего пространства, которые можно напрямую сравнивать для поиска, маршрутизации и кластеризации. Модель содержит 1,36 млрд параметров, выдаёт эмбеддинги размерностью 768 и распространяется в формате safetensors; для работы в README указаны PyTorch, совместимая версия torchaudio и Transformers 4.57.6. Модель предназначена для мультимодального поиска и извлечения признаков, включая поиск соответствий между изображениями и текстом, а также аудио и текстом. В README приведены результаты оценки на задачах английского текста и аудио, однако они не гарантируют качество на иных языках и наборах данных. Лицензия — Apache-2.0.
GLM-5.2-Vision-NVFP4 — мультимодальная модель для понимания изображений и генерации текста. Этот чекпойнт опубликован под идентификатором baseten/GLM-5.2-Vision-NVFP4 и объединяет текстовую модель GLM-5.2 от zai-org с визуальным энкодером MoonViT-3d из Kimi-K2.6 от Moonshot AI. Модель предназначена для описания изображений, визуального анализа и диалогов в формате image-text-to-text, включая работу через OpenAI-совместимый API. В основе используется замороженная MoE-модель GLM-5.2 размером 744B параметров, из которых активно около 40B, с механизмами MLA и DSA sparse attention. Визуальная часть MoonViT-3d содержит 27 слоёв и имеет размерность 1152, а обучаемый PatchMerger-проектор преобразует визуальные признаки в токены размерности 6144; его размер — 49,5 млн параметров. Текстовые веса представлены в формате NVFP4, модель поддерживает до 4096 токенов изображения и максимальный контекст до 1 048 576 токенов. Главные преимущества — сочетание сильного reasoning-бэкенда GLM-5.2 с обработкой изображений, длинный контекст и возможность локального развёртывания через SGLang или Baseten. Ограничения — очень большой объём весов около 466 ГБ и высокие требования к оборудованию: рекомендованы 8 GPU B200 для контекста 1M или 4 GPU B200 для 256K; заявлена совместимость только с архитектурой Blackwell. Для SGLang требуется внешний плагин архитектуры модели. Лицензия указана как MIT; при этом входящие веса GLM-5.2 и Kimi-K2.6 сохраняют условия лицензирования исходных проектов.
Thien0103 дообучил модель microsoft/trocr-base-stage1 на наборе данных, который в карточке не описан. Это модель архитектуры VisionEncoderDecoder для распознавания текста на изображениях; карточка указывает задачу image-text-to-text и поддержку обработки изображений. Модель подходит для извлечения текста с изображений и сканированных документов. Подробности о данных, обозначенных в названии направлениях распознавания, а также результаты оценки в карточке не приведены. Модель опубликована в формате safetensors; лицензия в доступных данных не указана.
Fanar-2-Oryx-IVU — мультимодальная модель для понимания изображений и видео, разработанная Институтом вычислительных исследований Катара (QCRI) при Университете Хамада бин Халифы (HBKU). Она основана на Qwen2.5-VL-7B-Instruct и дообучена для работы с арабским и английским языками, с приоритетом арабского и учетом культурного контекста. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель предназначена для визуальных вопросов и ответов, описания изображений, локализации объектов, распознавания арабской каллиграфии, анализа документов и понимания видео. Обучение на 62 млн примеров охватывало культурные материалы 22 арабских стран, арабскую и английскую подписи к изображениям, разметку объектов и текстовые инструкции. Авторы сообщают об улучшении результатов на культурно значимом контенте относительно базовой модели и снижении переключения между языками в арабских ответах. Модель может применяться для документирования культурного наследия, образовательных и музейных сервисов, доступности, модерации контента и описания товаров. Среди ограничений — возможные галлюцинации, ошибки распознавания текста на изображениях, различия в качестве для арабских диалектов и неполное понимание культурных нюансов. Лицензия — Apache-2.0.
Isaac-0.2-1B — компактная гибридная модель PerceptronAI для обработки изображений и диалога. В репозитории указано 507,9 млн параметров; архитектура — плотная IsaacForConditionalGeneration, формат весов — safetensors, контекст — до 40 960 токенов. Модель принимает изображения и текстовые запросы и отвечает текстом. Модель предназначена для визуального рассуждения и восприятия: распознавания текста на документах, схемах и экранах, привязки объектов к областям изображения, понимания интерфейсов и навигации по ним. Она поддерживает структурированные ответы, вызов инструментов и режим Focus для увеличения и повторного анализа выбранной области; README также описывает краткие рассуждения для многошаговых и пространственных задач. Указаны сценарии робототехники, поиска по медиаматериалам и промышленного контроля. Модель ориентирована на английский язык. Лицензия CC BY-NC 4.0 разрешает использование с обязательной атрибуцией и ограничивает коммерческое применение. Компактный размер рассчитан на работу на обычных GPU и периферийных устройствах, однако README не приводит независимых результатов бенчмарков, поэтому заявления о точности следует проверять на целевых данных.