I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельQwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.
Qwen3-VL-235B-A22B-Instruct-MXFP4 — вариант весов модели Qwen3-VL от команды Qwen. Это мультимодальная модель с архитектурой MoE, предназначенная для диалога и совместного понимания текста и изображений; карточка также описывает возможности работы с видео и пространственными данными. Модель может анализировать визуальные сцены, отвечать на вопросы, распознавать текст в изображениях и документах, выполнять визуальное рассуждение и взаимодействовать с интерфейсами через инструменты. В README заявлен контекст 256K токенов с возможностью расширения до 1M, а также OCR на 32 языках. Среди описанных возможностей — понимание длительного видео с привязкой событий ко времени, генерация кода и диаграмм по визуальным примерам, пространственное рассуждение и задачи STEM. Репозиторий содержит веса safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Размер MXFP4 в имени указывает на квантизованный вариант весов, однако формат MXFP4 отдельно в метаданных форматов не подтверждён.
Карточка модели karanjaWakaba/Qwen3-VL-4B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen3-VL-4B-Instruct, поэтому описание составлено по ней. Qwen3-VL-4B-Instruct от Unsloth — весовой репозиторий мультимодальной модели для диалога и задач с изображениями и видео. Это дообученная версия Qwen/Qwen3-VL-4B-Instruct с плотной архитектурой Qwen3-VL и примерно 4 млрд параметров; модель распространяется в формате safetensors и работает с библиотекой Transformers. Модель принимает текст и изображения, отвечает текстом и поддерживает визуальное рассуждение, OCR, анализ видео, понимание пространственных отношений и взаимодействие с инструментами. В README заявлены контекст 256 тыс. токенов с возможностью расширения до 1 млн и OCR на 32 языках. Также описаны сценарии визуального управления интерфейсами и генерации кода или разметки по визуальному примеру. Лицензия — Apache-2.0. README не содержит численных результатов раздела производительности; заявленные преимущества и возможности следует считать описанием разработчика, а качество проверять на целевых данных.
wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.
Qwen3-VL-8B-Instruct-Unredacted-MAX-FP8 — мультимодальная vision-language модель, опубликованная prithivMLmods и основанная на Qwen3-VL-8B-Instruct-Unredacted-MAX. Это FP8-сжатая версия с архитектурой на 8 млрд параметров, предназначенная для анализа изображений, генерации подробных подписей и рассуждений по сложному визуальному содержимому. В карточке указана поддержка английского языка, а основная модальность описана как image-text-to-text. Модель рассчитана на расширенное визуальное рассуждение, включая анализ художественных, технических, медицинских, исторических, абстрактных и исследовательских материалов. Возможные сценарии применения включают генерацию описаний для датасетов и метаданных, задачи доступности, архивирование визуальных данных, red-teaming, исследование механизмов отказа и творческое повествование. Она поддерживает динамическое разрешение и различные соотношения сторон изображений. Ключевая особенность — квантование весов и активаций в формате FP8 W8A8 с использованием BF16 и F8_E4M3, что снижает потребление VRAM и может повысить производительность инференса при сохранении возможностей исходной модели. Вариант оптимизирован для Hopper и совместимых GPU, однако для обработки изображений высокого разрешения и длинной генерации всё ещё требуется достаточно VRAM и совместимое аппаратное обеспечение. Abliterated fine-tuning уменьшает встроенные отказы, поэтому модель может генерировать чувствительное или спорное содержимое; результаты требуют ответственного и законного использования. Лицензия — Apache-2.0.
Qwen3-VL-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-VL в варианте с режимом рассуждений, представленная в репозитории Unsloth как набор весов с исправлениями шаблона чата. Она принимает текст и изображения и предназначена для диалога, визуального анализа и ответов на вопросы по изображениям; карточка также описывает распознавание текста, понимание видео, пространственные рассуждения и взаимодействие с инструментами. Архитектура — Qwen3 VL MoE для условной генерации; веса опубликованы в формате safetensors, лицензия Apache-2.0. В README заявлены контекст 256K с возможностью расширения до 1M, поддержка OCR на 32 языках, анализ длительных видео, распознавание элементов интерфейса и генерация кода или схем по визуальным примерам. Эти возможности перечислены для семейства Qwen3-VL; подробные результаты тестирования именно этого набора весов в карточке не приведены. Для запуска с llama.cpp README рекомендует параметр --jinja.
cmarkea/detr-layout-detection — модель обнаружения структуры документов, разработанная cmarkea и дообученная на DocLayNet на базе DETR с ResNet-50. Она анализирует изображение страницы и одновременно предсказывает ограничивающие рамки и маски элементов макета: подписей, сносок, формул, пунктов списков, колонтитулов, изображений, заголовков разделов, таблиц, основного текста и заголовков страниц. Модель предназначена для извлечения структуры страниц при обработке документных корпусов, в том числе для подготовки данных к системам ответов на вопросы по документам. В README приведены результаты оценки на 500 страницах DocLayNet; заявлены F1 91,27 для сегментации и GIoU 80,66 для обнаружения объектов в сравнительном бенчмарке. Число параметров — 6,3 млн; веса доступны в формате safetensors для Transformers. Модель принимает изображения документов и выдаёт классы элементов, маски и рамки объектов. Лицензия — Apache-2.0. Качество оценивалось на DocLayNet; переносимость на другие типы документов и качество на отдельных классах могут отличаться.
Qwen2.5-VL-3B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, основанная на Qwen/Qwen2.5-VL-3B-Instruct и представленная в формате GGUF. Модель разработана командой Qwen; репозиторий связан с Unsloth. Она предназначена для обработки текста и визуальных данных, включая изображения и видео, с поддержкой сценариев визуального вопросно-ответного взаимодействия, анализа документов, диаграмм, таблиц, форм и интерфейсов, а также визуальной локализации объектов и компьютерного или мобильного управления. Модель содержит около 3 млрд параметров. В её архитектуре используются языковая модель Qwen2.5, vision encoder на базе ViT с оконным вниманием, SwiGLU и RMSNorm, динамическое разрешение изображений и динамическая частота дискретизации видео. Она способна анализировать продолжительные видеозаписи, выделять релевантные моменты, формировать структурированные результаты, включая JSON, и выдавать координаты объектов в виде ограничивающих рамок или точек. В карточке указана поддержка английского языка; размер контекстного окна не приведён. Сильные стороны модели — сочетание компактного размера с возможностями анализа изображений, документов и видео, визуального рассуждения, извлечения текста и структурированных данных. Ограничения включают меньший размер по сравнению с моделями Qwen2.5-VL на 7 и 72 млрд параметров, поэтому качество может быть ниже на сложных задачах; также в карточке не приведены требования к ресурсам, точный вариант квантования GGUF и полный перечень поддерживаемых языков. Использование регулируется лицензией qwen-research.
arabic_PP-OCRv5_mobile_rec — мобильная модель распознавания строк арабского текста из изображений, разработанная командой PaddleOCR как часть семейства PP-OCRv5_rec. Она предназначена для использования в OCR-системах, где требуется извлекать текстовые строки и выдавать их в виде текста; показатель точности на описанной в карточке оценке составляет 81,27%. Для распознавания документов модель можно подключить как модуль распознавания в конвейере PP-OCRv5 вместе с детектором текста и, при необходимости, модулями коррекции ориентации и геометрии изображения. Модель относится к мобильной линейке и использует библиотеку PaddleOCR. В метаданных указан английский язык, но README описывает поддержку арабского; идентификатор модели также указывает на арабское распознавание. Репозиторий распространяется по лицензии Apache-2.0. Это распознаватель текстовых строк, поэтому сам по себе он не выполняет полный поиск областей текста на странице: для такого сценария нужен OCR-конвейер с модулем детекции.
PaddleOCR-VL-1.6-MLX-8bit — 8-битная MLX-квантизация мультимодальной модели PaddleOCR-VL-1.6, разработанной командой PaddlePaddle. Модель предназначена для локального разбора документов на устройствах Apple Silicon, включая OCR полноформатных страниц, анализ структуры и компоновки, распознавание таблиц, формул, графиков, печатей, а также обнаружение и распознавание текста. Она принимает изображения и генерирует результаты в форматах Markdown и JSON; текстовые входы без изображения не поддерживаются. Модель содержит около 0,9 млрд параметров и использует архитектуру PaddleOCRVLForConditionalGeneration на базе ERNIE-4.5 с пользовательским типом модели paddleocr_vl. Контекст составляет до 131 072 токенов, поддерживаются английский, китайский и другие языки; заявлена мультиязычность. Версия адаптирована для MLX и занимает около 1,09 ГБ на диске. Повышенный предел разрешения до 4 064 256 пикселей оптимизирован для распознавания мелкого текста на полноразмерных страницах, но увеличивает время обработки примерно в пять раз по сравнению с исходным ограничением. Работает через mlx-vlm и требует Apple Silicon, а также trust_remote_code=True. Сильные стороны модели — локальная обработка данных без отправки документов во внешние сервисы, поддержка сложных элементов документов и высокая заявленная точность базовой модели: 96,3% на OmniDocBench v1.6. 8-битная квантизация может немного снизить точность по сравнению с версиями bf16/fp16. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Карточка модели unsloth/Llama-4-Maverick-17B-128E на Hugging Face совпадает с карточкой meta-llama/Llama-4-Maverick-17B-128E, поэтому описание составлено по ней. Llama 4 Maverick — мультимодальная модель Meta для диалога и понимания изображений. Она использует авторегрессионную архитектуру mixture-of-experts с 17 млрд параметров и 128 экспертами, а также раннее объединение модальностей для работы с текстом и изображениями. В репозитории доступны веса Safetensors для Transformers. Модель предназначена для коммерческих и исследовательских сценариев: чат-помощников, визуального анализа, распознавания объектов и сцен, описания изображений и ответов на вопросы по ним. Она поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. Модель проверена для анализа до пяти изображений на вход. Для использования действует пользовательская Llama 4 Community License Agreement. Модель обучена на статичном офлайн-наборе данных. Возможности и качество могут различаться в зависимости от языка и сценария; для работы с большим числом изображений, чем проверенное, требуется дополнительная проверка и настройка.
Moondream 2 — компактная модель зрения и языка от разработчиков Moondream, предназначенная для эффективного запуска на широком спектре устройств. В репозитории размещён выпуск от 21 июня 2025 года; это предыдущее поколение после Moondream 3 Preview. Модель принимает изображение и текстовый запрос и отвечает текстом, поддерживая визуальные вопросы и ответы, описание изображений, распознавание текста и таблиц, подсчёт объектов, обнаружение объектов и элементов интерфейса, а также понимание диаграмм и документов. В выпуске заявлены пошаговое рассуждение с привязкой к пространственным позициям, улучшенное обнаружение объектов и понимание интерфейсов, а также ускоренная генерация. Поддерживаются веса SafeTensors и библиотека Transformers. Репозиторий часто обновляется, поэтому для производственного приложения README рекомендует фиксировать конкретную ревизию. Лицензия — Apache-2.0. Размер модели, длина контекста и перечень поддерживаемых языков в предоставленных данных не приведены.
unsloth/Qwen2-VL-2B-Instruct-unsloth-bnb-4bit — мультимодальная instruction-tuned модель, основанная на Qwen/Qwen2-VL-2B-Instruct и подготовленная Unsloth. Она предназначена для обработки изображений, видео и текстовых инструкций: визуального вопросно-ответного взаимодействия, анализа документов и сцен, распознавания текста на изображениях, а также мультимодальных диалогов и сценариев, где требуется интерпретация визуальной среды. Модель совместима с библиотекой Transformers и имеет тип pipeline image-text-to-text. Ключевая особенность версии — динамическое 4-битное квантование Unsloth BnB: отдельные параметры не квантуются, чтобы сохранить качество при сопоставимом снижении потребления VRAM. Архитектура Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, использует мультимодальные позиционные embeddings M-ROPE для текстовых, двумерных визуальных и трёхмерных видеоданных и рассчитана на понимание видео длительностью более 20 минут. Заявлена многоязычная работа с текстом внутри изображений, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский. Сильные стороны модели — компактный размер 2B, сниженные требования к видеопамяти, поддержка нескольких модальностей, динамическая обработка изображений и широкий спектр визуальных задач. Ограничения, включая точные значения контекстного окна, производительность и качество для отдельных языков и сценариев, в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.
ZDTaichu5.0-9B-GGUF — мультимодальная foundation-модель, разработанная командой Taichu AI. Она предназначена для общего визуального понимания, пространственного рассуждения, агентского использования инструментов и исследований в области embodied AI. Модель работает с текстом, отдельными и множественными изображениями, а также видео; заявлена поддержка английского и китайского языков. В основе используется языковой декодер Qwen3.5-9B и vision-энкодер C-RADIOv4-H. Модель поддерживает контекст до 128K токенов и визуальный ввод произвольного разрешения. Она рассчитана на понимание изображений, документов, таблиц, графиков, диаграмм и OCR, визуальную математику, ответы на вопросы с опорой на визуальные данные, анализ нескольких ракурсов и видео, локализацию объектов, координаты и bounding boxes, 2D- и 3D-пространственные отношения, перспективу, планирование действий и понимание affordances. К сильным сторонам относятся широкий профиль визуальных возможностей, пространственное и embodied-рассуждение, многошаговое и многотуровое использование инструментов, а также Entropy-Gated Adaptive Recurrent Reasoning, динамически выделяющий дополнительные итерации обработки для сложных токенов. GGUF-артефакты совместимы с llama.cpp, Ollama и другими GGUF-инструментами; доступны варианты квантования языковой модели и vision-энкодера для CPU и NVIDIA GPU с CUDA. Исполнение инструментов моделью самостоятельно не выполняется и должно быть реализовано и защищено окружающим приложением. Лицензия в представленном README не указана.
GOT-OCR 2.0 — мультимодальная модель для распознавания текста в изображениях, представленная командой авторов, перечисленных в карточке проекта General OCR Theory. Она реализует подход OCR-2.0 как единую сквозную модель и предназначена для извлечения текста из изображений; в метаданных также указана поддержка задач генерации текста и image-text-to-text. Модель использует плотную архитектуру GOTQwenForCausalLM и содержит 463,8 млн параметров. Она принимает изображения и выдаёт текст; карточка заявляет мультиязычную поддержку. Для запуска README приводит пример инференса через Hugging Face Transformers на GPU NVIDIA. В метаданных указан контекст 32 768 токенов, хотя его практическая роль для OCR в README не раскрыта. Модель опубликована под лицензией Apache-2.0. README не приводит количественных оценок качества или подробностей о поддерживаемых языках и форматах OCR, поэтому применимость к конкретным языкам и типам документов следует оценивать отдельно.
jina-embeddings-v5-omni-small-classification — мультимодальная модель эмбеддингов от Jina AI, адаптированная для задач классификации. Она построена на архитектуре Qwen3-VL-Audio и принимает текст, изображения, видео и аудио, преобразуя их в векторы размерности 1024 в общем пространстве, совместимом с текстовыми моделями эмбеддингов Jina v5. Размер модели — около 1,56 млрд параметров. Модель предназначена для получения признаковых векторов, которые можно использовать в классификации, а также для индексирования и поиска по разным модальностям: например, индексировать текст и искать по изображению, видеокадрам или аудио без повторной индексации. Видео представляется кадрами; звуковая дорожка автоматически не учитывается и должна передаваться отдельно. Для текстового ввода используется префикс «Document: ». Модель поддерживает мультиязычный ввод; в README описаны способы запуска через Transformers, sentence-transformers и vLLM. Веса опубликованы в формате safetensors, библиотека — Transformers. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Для инференса требуются актуальные версии зависимостей; мультимодальные компоненты можно загружать выборочно для экономии памяти.
WeMM-Embedding-9B — универсальная мультимодальная модель эмбеддингов Tencent, построенная на базе Qwen3.5-9B. Она принимает текст, изображения, видео и визуальные документы, в том числе смешанные входы с чередованием текста и изображений или видео, и преобразует их в L2-нормированный вектор размерностью 4096. Аудио модель не поддерживает. Модель предназначена для получения эмбеддингов и поиска по тексту, изображениям, видео и визуальным документам, включая сопоставление разных типов содержимого. README также описывает поддержку Matryoshka Embeddings с сокращением размерности и варианты запуска через Transformers, Sentence Transformers, vLLM и SGLang. Метаданные указывают архитектуру Qwen3.5 и дообучение базовой модели Qwen/Qwen3.5-9B; опубликованные веса представлены в формате Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели. Модель не подходит для аудио-входов; заявленный основной результат — векторное представление, а не генерация текста.
Huihui-Qwen3-VL-30B-A3B-Instruct-abliterated — мультимодальная диалоговая модель Huihui AI на базе Qwen3-VL-30B-A3B-Instruct от Qwen. Это дообученная версия с ослабленными отказами: abliteration применена к текстовой части, а обработка изображений не изменялась. Модель принимает текст и изображения и предназначена для диалога, анализа изображений и видео, распознавания текста на изображениях и пространственных рассуждений; также поддерживает интерфейс вызова инструментов. Архитектура относится к семейству Qwen3 VL MoE, веса доступны в формате safetensors для Transformers. Ослабление защитных отказов может приводить к чувствительным, спорным или неподходящим ответам, поэтому результаты следует проверять. Лицензия — Apache-2.0.
PaddleOCR-VL-1.6-i1-GGUF — квантизированная версия мультимодальной модели PaddleOCR-VL-1.6, разработанной PaddlePaddle и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для анализа изображений документов и преобразования их содержимого в структурированные текстовые данные, включая OCR, разбор макета, таблиц, формул, графиков, печатей и других элементов, а также для задач spotting. Заявлена поддержка английского, китайского и других языков. Модель работает с визуально-текстовыми данными и распространяется в виде набора вариантов квантизации i1, включая IQ- и Q-форматы размером примерно от 0,3 до 0,5 ГБ. README не содержит сведений о точной архитектуре, числе параметров и размере контекста. Преимущество набора — возможность выбрать компромисс между размером, скоростью и качеством; для некоторых вариантов отдельно отмечены высокая скорость или оптимальное соотношение характеристик. Ограничения связаны с потерями качества у низкобитных вариантов квантизации, а также с отсутствием в README подробных результатов оценки. Лицензия — Apache-2.0.
dealignai/Qwen3.8-Flash-Next-ABLITERATED-NVFP4 — мультимодальная версия Qwen3.8-Flash-Next, разработанная dealignai. Это прямое изменение весов базовой модели без дообучения, LoRA, дистилляции или изменения шаблона чата; заявлено сохранение исходных знаний, стиля, рассуждений и калибровки. Модель предназначена для текстовых и мультимодальных сценариев с обработкой изображений и видео, включая распознавание форм, цветов, текста на изображениях, движения и объектов в видео. Поддерживаются режимы рассуждения low, medium и xhigh, а также MTP speculative decoding. Модель работает с SGLang и рассчитана на tensor parallel на двух NVIDIA DGX Spark с использованием 4-битного формата NVFP4. Размер модели, максимальная длина контекста и точный перечень поддерживаемых языков в README не указаны. По заявленным результатам, производительность на MMLU почти не изменилась относительно базовой модели: 81,93% против 82,11%. Также заявлены связная генерация без зацикливания и сохранение мультимодальных возможностей. Ключевое ограничение — удаление защитных отказов: модель описана как исследовательский артефакт без встроенных ограничений безопасности и может выполнять вредоносные, незаконные и неэтичные запросы. Использование допускается по лицензии qwen-community-license-1.0; модель предоставляется без гарантий, а ответственность за результаты и соблюдение законодательства возлагается на пользователя.
Docling Model for Layout — модель обнаружения объектов на основе RT-DETR для определения структуры и элементов макета документов. Она входит в проект Docling и предназначена для анализа расположения элементов на страницах документов; модель распространяется в формате Safetensors и загружается через Transformers. В карточке указана внутренняя выборка для распознавания структуры документов. Лицензия — Apache 2.0.
InternVL3.5-241B-A28B — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab. Она сочетает зрительный модуль с языковой моделью и предназначена для диалогов по изображениям и тексту, мультимодальных рассуждений и агентных сценариев, включая взаимодействие с графическим интерфейсом. В метаданных указаны 241B параметров в названии модели и архитектура InternVLChatModel; модель работает через Transformers и хранится в формате safetensors. Семейство InternVL3.5 использует Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной настройки разрешения визуальных токенов. В README описано разделение зрительной и языковой частей при развёртывании, чтобы повысить эффективность вывода. Модель заявлена как мультиязычная; конкретный список языков и длина контекста в предоставленных данных не приведены. Модель подходит для вопросов по изображениям, визуального и текстового рассуждения, OCR-подобных задач, понимания видео и агентного взаимодействия. Для развёртывания варианта на 235B параметров README указывает необходимость восьми GPU A100, поэтому для этой версии требуются значительные вычислительные ресурсы. Лицензия — Apache 2.0; в метаданных базовой моделью указана OpenGVLab/InternVL3_5-241B-A28B-MPO.
MEXMA-SigLIP2 — мультимодальная модель для сопоставления изображений и текста, объединяющая многоязычный текстовый энкодер MEXMA и визуальный энкодер SigLIP2. Она предназначена для поиска изображений по текстовому запросу и поиска текста, соответствующего изображению, а также для классификации изображений по текстовым описаниям без обучения на конкретных метках. По карточке модель поддерживает 80 языков; в метаданных среди языковых тегов указаны, в частности, русский и английский. На наборе Crossmodal-3600 авторы сообщают результаты Recall@1 62,54% для поиска изображений и 59,99% для поиска текста. Репозиторий содержит веса в форматах ONNX и safetensors; лицензия — MIT. Размер модели и длина контекста в предоставленных данных не указаны.
openbmb/MiniCPM-V-4.6-BNB — это квантованная в формате bitsandbytes NF4, 4-битная версия мультимодальной модели MiniCPM-V 4.6, разработанной командой OpenBMB. Модель предназначена для понимания изображений, нескольких изображений и видео, включая визуальный анализ, OCR и работу с мультимодальными запросами. Она ориентирована на эффективное развертывание на периферийных устройствах и мобильных платформах iOS, Android и HarmonyOS. В основе MiniCPM-V 4.6 используются визуальный энкодер SigLIP2-400M и языковая модель Qwen3.5-0.8B. Архитектура применяет смешанное сжатие визуальных токенов с коэффициентами 4x и 16x, что позволяет выбирать баланс между точностью и скоростью; вычислительная нагрузка визуального кодирования снижена более чем на 50%. README не указывает размер контекстного окна и полный список поддерживаемых языков. Доступна интеграция с Transformers, vLLM, SGLang, llama.cpp и Ollama, а также экосистемами дообучения SWIFT и LLaMA-Factory. К сильным сторонам относятся компактность, низкая стоимость инференса, высокая эффективность на мобильных устройствах и мультимодальные возможности, сопоставимые с более крупными моделями на ряде тестов. Ограничения включают потери, связанные с 4-битной квантизацией, а также отсутствие в README подробностей о точности на конкретных задачах, контекстном окне и языковом покрытии. Модель распространяется по лицензии Apache-2.0.
PerceptionDLM-Base — мультимодальная диффузионная языковая модель для понимания изображений и ответов на визуальные инструкции, разработанная MSALab. Она дообучена на базе MSALab/LLaDA-8B-Instruct-HF и предназначена для сценариев, где нужно задавать вопросы об изображении или извлекать из него сведения. Архитектура сочетает визуальный энкодер SigLIP-2, двухслойный MLP-коннектор и диффузионный декодер LLaDA-8B. Модель использует параллельную генерацию с маскированным денойзингом и динамическое разбиение изображений высокого разрешения на тайлы. Карточка сообщает о результатах на мультимодальных бенчмарках, включая сильные показатели в задачах детального восприятия и ChartQA. Модель принимает изображения и текстовые инструкции и генерирует текстовые ответы. В метаданных указан английский язык. Весы опубликованы в формате Safetensors, библиотека — Transformers, лицензия — Apache-2.0. Модель описана как базовая для PerceptionDLM; для развёртывания предоставлены скрипты инференса.
nvidia/Qwen2.5-VL-7B-Instruct-NVFP4 — мультимодальная инструкционная модель, разработанная NVIDIA на основе Qwen/Qwen2.5-VL-7B-Instruct. Она предназначена для генерации текста и обработки задач, связанных с визуально-языковым взаимодействием, включая сценарии, где требуется анализ визуального и текстового контекста. В карточке модели указано, что это квантованная версия в формате FP4, подготовленная с использованием NVIDIA Model Optimizer. Модель относится к семейству Qwen2.5-VL и имеет размер 7B параметров в базовой версии. Поддерживаемые языки, максимальная длина контекста, точные характеристики архитектуры, перечень входных модальностей и показатели качества в README не указаны. Квантование FP4 потенциально снижает требования к памяти и может повысить эффективность инференса, однако README не содержит результатов бенчмарков или сведений о совместимом оборудовании. Модель распространяется по NVIDIA Open Model License. Лицензия допускает коммерческое использование, создание и распространение производных моделей, но требует соблюдения условий соглашения, включая указание лицензии NVIDIA и атрибуции «Built on Qwen2.5-VL-7B-Instruct-FP4» при распространении модели, продуктов или сервисов на её основе. Использование также должно соответствовать условиям NVIDIA Trustworthy AI; ответственность за результаты и их последующее применение несёт пользователь.
Qwen3.8-27B-heretic-VL-MLX-bf16 — мультимодальная модель для диалогов и анализа изображений, подготовленная donedynamics для компьютеров Apple Silicon. Это конверсия в формат MLX из trohrbaugh/Qwen3.8-27B-heretic-ara; в репозитории сохранён визуальный энкодер. Модель принимает текст и изображения, а библиотека запуска — mlx-vlm. Основа модели — плотная архитектура Qwen3.5 с 27 млрд параметров; веса представлены в bf16 без квантизации. Модель распознаёт объекты и их атрибуты на изображениях и отвечает на текстовые запросы. В README описан режим рассуждения, включённый по умолчанию: он расходует токены до начала ответа и может занять весь небольшой лимит генерации. В базовой модели снижено число отказов на запросы, которые обычно отклоняет модель с настройкой безопасности. Поэтому перед пользовательским развёртыванием следует оценить её ответы и при необходимости применять собственную фильтрацию. Лицензия — Apache-2.0.
TIGER-Lab/VLM2Vec-Full — мультимодальная модель встраиваний, разработанная TIGER-Lab на основе Microsoft Phi-3.5 Vision Instruct. Она дообучена на наборе MMEB-train с контрастивным обучением и предназначена для получения представлений текста и изображений для широкого круга мультимодальных задач поиска и сопоставления. В метаданных указаны архитектура Phi-3.5-V, 3,7 млрд параметров, контекст 4096 токенов и форматы PyTorch и Safetensors. Модель ориентирована на задачи мультимодальных эмбеддингов; карточка сообщает об оценке на 36 наборах MMEB-eval и превосходстве над прежними базовыми методами, но не приводит сами метрики. Репозиторий распространяется по лицензии Apache-2.0. В карточке Hugging Face pipeline помечен как text-generation, хотя описание проекта указывает на эмбеддинги; для поиска эмбеддингов и оценок релевантности это назначение точнее отражает использование модели.
Dingdust/LFM2.5-VL-3B-heretic — мультимодальная модель на основе LFM2.5-VL-3B от Liquid AI, ориентированная на локальный запуск и высокую скорость обработки изображений и текста. Это плотная модель класса LFM2-VL с языковой основой LFM2.5-2.6B и визуальным энкодером SigLIP2 NaFlex; веса представлены в формате Safetensors. В карточке указаны контекст 32 768 токенов и поддержка 17 языков: арабского, китайского, английского, французского, немецкого, хинди, индонезийского, итальянского, японского, корейского, польского, португальского, русского, испанского, тайского, вьетнамского и других перечисленных языков. Модель предназначена для диалога по изображениям, распознавания текста на страницах с сохранением структуры, поиска объектов по текстовому запросу и локального перевода надписей, например меню и дорожных знаков. В README вариант heretic описан как abliteration-модификация исходной модели: в приведённом сравнении число отказов уменьшено со 100 из 100 до 5 из 100, при KL-дивергенции 0,0168. Модель рассчитана на быстрые одношаговые задачи и локальный инференс; автор README не рекомендует её для задач с интенсивными рассуждениями или сложного анализа чертежей. Лицензия указана как other, поэтому конкретные условия использования следует сверять с карточкой модели.
openbmb/MiniCPM-V-4.6-Thinking-BNB — это 4-битная NF4-квантизованная версия мультимодальной модели MiniCPM-V 4.6 Thinking, разработанная командой OpenBMB. Модель предназначена для эффективного понимания изображений и видео, включая сложные мультимодальные рассуждения, математические задачи и распознавание текста на изображениях с высокой нагрузкой на OCR. Она ориентирована в том числе на запуск на конечных устройствах и мобильных платформах: iOS, Android и HarmonyOS. Архитектура включает визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B, а также смешанное сжатие визуальных токенов 4x/16x. Вариант Thinking формирует явную цепочку рассуждений перед итоговым ответом, что повышает качество на сложных задачах. Поддерживаются изображения и видео, работа через Transformers, обработка нескольких изображений и использование Flash Attention 2 для ускорения и снижения потребления памяти. Точный размер контекстного окна и список поддерживаемых языков в предоставленных данных не указаны. К сильным сторонам относятся компактность, низкие требования к памяти благодаря 4-битной квантизации, пригодность для edge-сценариев и способность выполнять сложный визуальный анализ. Ограничения включают зависимость от совместимости программного окружения и видеодекодера с версией CUDA, а также потенциальные компромиссы в точности из-за квантизации; количественные результаты оценки в README не приведены. Модель распространяется по лицензии Apache-2.0.