I.4Обработка документов и форм

Карточка модели OrchardPair/Qwen2.5-VL-7B-Instruct-4bit на Hugging Face совпадает с карточкой mlx-community/Qwen2.5-VL-7B-Instruct-4bit, поэтому описание составлено по ней. Это 4-битная версия мультимодальной инструкционной модели Qwen2.5-VL-7B-Instruct, подготовленная сообществом mlx-community и преобразованная в формат MLX с помощью mlx-vlm 0.1.11. Модель содержит 7,1 млрд параметров и предназначена для диалога и выполнения инструкций по текстовым запросам и визуальным данным. Модель принимает текст и изображения, а также поддерживает анализ видео согласно описанию базовой модели. Её можно применять для ответов на вопросы об изображениях, извлечения сведений из документов и других визуальных задач. Контекст составляет до 128 000 токенов; доступны интерфейсы чата и вызова инструментов. Репозиторий указывает формат safetensors и лицензию Apache-2.0. Карточка сообщества отсылает к оригинальной карточке Qwen2.5-VL-7B-Instruct за подробностями; качество и ограничения конкретной 4-битной версии отдельно не описаны.

Qwen2.5-VL-7B-Instruct-quantized.w4a16 — мультимодальная инструкционная модель на базе Qwen/Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Она принимает изображения и текстовые запросы, а генерирует текстовые ответы. Модель предназначена для визуально-языковых задач, включая ответы на вопросы по изображениям, анализ документов, визуальное рассуждение и другие сценарии, где требуется совместная обработка текста и визуальной информации. Модель содержит около 7 миллиардов параметров и использует архитектуру Qwen2.5-VL. Для оптимизации инференса её веса квантизированы в INT4 с группами размера 128, а активации представлены в FP16; визуальные слои и lm_head при квантизации не изменялись. В README указан английский язык. Модель рассчитана на запуск через vLLM, включая OpenAI-совместимый сервер; в примере используется ограничение контекста 4096 токенов и до двух последовательностей одновременно. Дата выпуска — 24 февраля 2025 года, версия — 1.0. Ключевое преимущество модели — снижение требований к памяти и потенциально более эффективный инференс по сравнению с исходной полноразмерной версией при сохранении мультимодальных возможностей. Ограничения включают возможную потерю качества из-за квантизации, а также зависимость от совместимой инфраструктуры vLLM и поддержки мультимодального инференса. README содержит сведения об оценивании на задачах VQAv2, DocVQA и MathVista, но не приводит итоговые числовые результаты. Модель распространяется по лицензии Apache-2.0.

zeromodels/qwen3-vl-2b-thinking — конверсия модели Qwen3-VL-2B-Thinking от команды Qwen в реализацию на Keras 3. Компактная мультимодальная модель принимает изображения и текст и генерирует текст; веса хранятся в формате bfloat16. Реализация запускается с TensorFlow, Torch и JAX через Qwen3VLProcessor. Модель предназначена для диалогового анализа изображений, визуальных рассуждений и задач вроде OCR. Репозиторий предоставляет вариант на 2 млрд параметров; модель построена на базе Qwen/Qwen3-VL-2B-Thinking. Лицензия — Apache 2.0. Для подробностей о возможностях и условиях использования автор README отсылает к карточке исходной модели.

Это GGUF-квантизации модели Qwen3-VL-30B-A3B-Thinking — мультимодальной модели с режимом рассуждений, основанной на архитектуре Qwen3-VL. Репозиторий содержит вариант с контекстом до 1 млн токенов и применённой imatrix; доступны файлы в форматах BF16, F16 и F32. Модель предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстом. Возможные сценарии включают ответы на вопросы по изображениям, визуальный анализ и OCR. Для работы с файлами репозитория README рекомендует использовать актуальную версию llama.cpp. Это квантизированные веса базовой модели Qwen/Qwen3-VL-30B-A3B-Thinking, подготовленные в формате GGUF. В карточке не приведены сведения о лицензии и конкретных языках; ограничения качества и точности не описаны.

ZuzeTt/Qwen3-VL-4B-Instruct-heretic-Imatrix-GGUF — децензурированная версия мультимодальной модели Qwen3-VL-4B-Instruct, созданная пользователем ZuzeTt на основе модели Qwen и обработанная с помощью Heretic v1.0.1. Модель предназначена для работы с текстом и визуальными данными, включая понимание изображений и видео, визуальное рассуждение, OCR, анализ пространственных отношений, генерацию кода и взаимодействие с графическими интерфейсами. Модель относится к классу Dense и имеет 4 млрд параметров. Заявлены контекст длиной 256K токенов с возможным расширением до 1M, поддержка OCR на 32 языках, улучшенное понимание видео и временных связей, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и Text–Timestamp Alignment. Репозиторий распространяется в формате GGUF, однако конкретные параметры квантования в README не указаны. Главная особенность версии — снижение количества отказов от ответа: в приведённом сравнении модель отказала в 8 из 100 случаев против 92 из 100 у исходной Qwen3-VL-4B-Instruct; KL-дивергенция относительно оригинала составляет 0,27. Это может быть полезно для исследовательских и экспериментальных сценариев, требующих менее ограниченного поведения, но одновременно означает изменение исходных механизмов безопасного отказа. Лицензия — Apache-2.0.

Pictograph receipt-detection — модель компьютерного зрения для обнаружения чеков, разработанная и опубликованная Pictograph. Она построена на архитектуре YOLOX-M, принимает изображения размером 640×640 и распространяется в формате ONNX с точностью FP32. Модель предназначена для поиска рамки чека на изображении; в её наборе классов указан только класс receipt. В README заявлены mAP 87,2%, mAP@50 100% и recall 87,5%. Модель можно запускать через Pictograph SDK, ONNX Runtime или размещённые сервисы Pictograph. Репозиторий распространяется по лицензии Apache 2.0.

ThaiTrOCR — модель оптического распознавания символов, разработанная Suchut Sapsathien и Jillaphat Jaroenkantasima. Она преобразует изображения строк рукописного текста на тайском и английском языках в текст и может применяться для распознавания рукописных записей и текста в PDF-документах. Модель дообучена на базе TrOCR Base Handwritten. В её архитектуре используется энкодер Vision Transformer и декодер Electra Small, обученный на тайском корпусе; модель реализована как VisionEncoderDecoderModel. В README приведены результаты сравнения с EasyOCR и Tesseract на нескольких типах документов, однако тестовая выборка содержит всего 104 изображения, поэтому результаты могут быть недостаточно обобщающими. Модель распространяется по лицензии Apache-2.0. Карточка не приводит размер модели или длину контекста.

TrOCR large handwritten — модель распознавания рукописного текста, разработанная Microsoft и дообученная на наборе IAM. Она предназначена для OCR отдельных строк текста на изображениях. Модель использует архитектуру encoder-decoder: Transformer на основе изображений кодирует визуальные патчи размером 16×16, а текстовый Transformer авторегрессионно генерирует распознанные токены. Визуальный энкодер инициализирован весами BEiT, текстовый декодер — RoBERTa. Модель выпущена в формате PyTorch. Подходит для преобразования изображений рукописных строк в текст. Карточка не приводит показатели качества и не описывает обработку целых страниц или смешанных печатных и рукописных документов. Лицензия в предоставленных данных не указана.

Vintern-1B-v2 (Viet-InternVL2-1B-v2) — мультимодальная модель 5CD-AI для ответов на вопросы по изображениям на вьетнамском языке. Она дообучена на базе OpenGVLab/InternVL2-1B и сочетает визуальный энкодер InternViT-300M-448px, MLP-проектор и языковую часть Qwen2-0.5B-Instruct. Модель имеет около 1 млрд параметров и контекст 4096 токенов. Модель предназначена для OCR-VQA, вопросов и ответов по документам и графикам, распознавания текста и общего визуального вопросно-ответного взаимодействия. В карточке описано дообучение на более чем 3 млн специализированных пар «изображение — вопрос — ответ»; авторы также указывают сценарии использования на устройствах с ограниченными ресурсами. Для дообучения приводится вариант с GPU T4 в Google Colab. Вьетнамский язык — основной; метаданные также указывают английский. README сообщает о сравнительной оценке на вьетнамских визуальных задачах, но отмечает, что использованные метрики являются предварительными. Модель распространяется по лицензии MIT.

Карточка модели manaladan6/cogvlm2-llama3-chat-19B на Hugging Face совпадает с карточкой zai-org/cogvlm2-llama3-chat-19B, поэтому описание составлено по ней. CogVLM2-Llama3-Chat-19B — чат-модель с визуальным вводом от ZhipuAI, построенная на Meta-Llama-3-8B-Instruct. По карточке семейства модель предназначена для диалога и ответов на вопросы по изображениям; особенно отмечены результаты в задачах TextVQA и DocVQA. Модель поддерживает контекст до 8 192 токенов и изображения разрешением до 1344 × 1344 пикселей. Карточка указывает для этой версии английский язык; двуязычная поддержка китайского и английского относится к отдельной версии семейства. Метаданные описывают архитектуру как CogVLMForCausalLM и указывают 8,3 млрд параметров, тогда как README приводит размер семейства 19 млрд. Доступны веса в формате safetensors и чат-возможность. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

CogVLM2-Llama3-Chat-19B — чат-модель с визуальным вводом от ZhipuAI, построенная на Meta-Llama-3-8B-Instruct. По карточке семейства модель предназначена для диалога и ответов на вопросы по изображениям; особенно отмечены результаты в задачах TextVQA и DocVQA. Модель поддерживает контекст до 8 192 токенов и изображения разрешением до 1344 × 1344 пикселей. Карточка указывает для этой версии английский язык; двуязычная поддержка китайского и английского относится к отдельной версии семейства. Метаданные описывают архитектуру как CogVLMForCausalLM и указывают 8,3 млрд параметров, тогда как README приводит размер семейства 19 млрд. Доступны веса в формате safetensors и чат-возможность. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

Akajackson/donut_rus — модель Donut, разработанная автором репозитория для распознавания русского текста на изображениях. Она использует архитектуру vision-encoder-decoder и обучена на 100 тысячах синтетических изображений SynthDoG с текстами из русской литературы; токенизатор заменён на DeepPavlov/xlm-roberta-large-en-ru. Валидационная метрика Normed ED составляет 0,02239. Модель предназначена для извлечения текста и структурированной информации из документов. Автор также указывает сценарии ответов на вопросы по документу и классификации документов, но для них потребуется разметить данные под нужную задачу и дообучить модель. Репозиторий содержит веса в формате PyTorch и указывает лицензию Apache-2.0. Обучение на синтетических изображениях с текстами из литературы может ограничивать качество на реальных документах, других жанрах и макетах. Контекстная длина в доступных данных не приведена; практические возможности для ответов на вопросы и классификации зависят от дополнительного обучения.

Это совместимая с новыми версиями библиотеки transformers редакция модели Florence-2-base-ft от Microsoft. В репозитории изменён код modeling_florence2.py, чтобы исправить загрузку модели и генерацию текста при работе с версиями transformers от 4.42.0 до 4.57.x; веса и базовая архитектура принадлежат Microsoft. Модель предназначена для задач анализа изображений, включая создание описаний, распознавание текста и обнаружение объектов по текстовым запросам. Архитектура Florence-2 принимает изображения и текстовые запросы и выдаёт текстовые ответы или результаты визуального анализа. В метаданных указана лицензия Apache-2.0; README отсылает к исходной карточке Microsoft за условиями использования.

GLM-4.6V-Flash-MXFP4-GGUF — квантованная до 4-битного формата MXFP4 мультимодальная модель Z.ai (Zhipu AI), основанная на zai-org/GLM-4.6V-Flash. Модель объединяет языковую часть на 9 млрд параметров с визуальным энкодером ViT и принимает текстовые запросы вместе с изображениями, чтобы вести диалог и описывать визуальное содержимое. Модель рассчитана на понимание изображений, документов и визуальных интерфейсов. Контекст составляет 128 тысяч токенов; режим рассуждений включён по умолчанию и может быть отключён параметром `enable_thinking=false`. Для работы с изображениями требуются основной файл GGUF и отдельный файл проектора mmproj в формате F16. Лицензия — MIT. Квантование уменьшает размер языковой части до 4,82 ГБ, однако MXFP4 нативно поддерживается видеокартами NVIDIA Blackwell (RTX 50); на других GPU и CPU выполняется программная деквантизация, которая может быть медленнее. Для запуска подходит совместимое ПО, например llama.cpp или LM Studio.

Карточка модели jamiefutch/GLM-4.6V-Flash-MXFP4-GGUF на Hugging Face совпадает с карточкой FreedomAISVR/GLM-4.6V-Flash-MXFP4-GGUF, поэтому описание составлено по ней. GLM-4.6V-Flash-MXFP4-GGUF — квантованная до 4-битного формата MXFP4 мультимодальная модель Z.ai (Zhipu AI), основанная на zai-org/GLM-4.6V-Flash. Модель объединяет языковую часть на 9 млрд параметров с визуальным энкодером ViT и принимает текстовые запросы вместе с изображениями, чтобы вести диалог и описывать визуальное содержимое. Модель рассчитана на понимание изображений, документов и визуальных интерфейсов. Контекст составляет 128 тысяч токенов; режим рассуждений включён по умолчанию и может быть отключён параметром `enable_thinking=false`. Для работы с изображениями требуются основной файл GGUF и отдельный файл проектора mmproj в формате F16. Лицензия — MIT. Квантование уменьшает размер языковой части до 4,82 ГБ, однако MXFP4 нативно поддерживается видеокартами NVIDIA Blackwell (RTX 50); на других GPU и CPU выполняется программная деквантизация, которая может быть медленнее. Для запуска подходит совместимое ПО, например llama.cpp или LM Studio.

Это преобразованная для MLX версия мультимодальной модели alexgusevski/Huihui-Qwen3-VL-8B-Instruct-abliterated-mlx, основанной на Qwen/Qwen3-VL-8B-Instruct. По метаданным это плотная модель Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration и примерно 8 млрд параметров; README сообщает о конвертации исходной модели huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated с помощью mlx-vlm 0.3.10. Модель предназначена для диалога по тексту и изображениям, включая описание и визуальный анализ. Семейство Qwen3-VL также поддерживает анализ видео, OCR и визуальное рассуждение. В метаданных указана задача image-text-to-text и возможности chat и vision; языки и длина контекста в предоставленных данных не установлены. Модификация abliterated помечена в тегах как uncensored. Такие метки не гарантируют качество или безопасность ответов. Модель распространяется по лицензии Apache-2.0; для использования с MLX README указывает библиотеку mlx-vlm.

Idefics2-8b-base — базовая мультимодальная модель от Hugging Face для обработки изображений и текста. Она принимает текстовые запросы и одно или несколько изображений, в том числе чередующиеся с текстом, и генерирует текстовые ответы. Модель предназначена для описания изображений, визуальных вопросов и ответов, чтения текста на изображениях и документах, а также анализа диаграмм и графиков. Модель содержит 8 млрд параметров и построена на архитектуре Idefics2: визуальный кодировщик SigLIP обрабатывает изображения, после чего Perceiver pooling и проекция объединяют визуальные признаки с текстовыми эмбеддингами языковой модели Mistral. Поддерживаются изображения с разными пропорциями и разрешением до 980 × 980 пикселей; несколько изображений и текст могут подаваться в чередующемся порядке. Основной язык карточки — английский. Модель служит основой для специализированной настройки. Версия base уступает Idefics2-8b в следовании инструкциям; для готового диалогового применения авторы рекомендуют инструкционную версию, а для длинных ответов — Idefics2-8b-chatty. Генерировать изображения модель не умеет. В README также отмечена несовместимость с Transformers версий 4.41.0–4.43.3. Лицензия — Apache 2.0.

InternVL2-40B — мультимодальная чат-модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую часть Nous-Hermes-2-Yi-34B; в метаданных указано происхождение через слияние этих моделей. Модель содержит около 40 млрд параметров и рассчитана на контекст до 8 тыс. токенов. Модель принимает текст и изображения, а также предназначена для анализа видео через кадры. Она отвечает на вопросы по изображениям и документам, распознаёт текст на сценах, разбирает диаграммы и инфографику, решает научные и математические задачи и поддерживает диалог. Карточка заявляет конкурентные результаты на ряде мультимодальных тестов, но они не гарантируют качество на конкретных данных пользователя. Репозиторий распространяется под лицензией MIT. Для запуска в Transformers требуется соответствующая инфраструктура; размер модели требует значительных вычислительных ресурсов. В метаданных указаны мультиязычность и поддержка чата, но конкретные языки не перечислены.

InternVL2_5-1B-MPO — компактная мультимодальная модель OpenGVLab для диалога по изображениям. Это вариант семейства InternVL2.5, дообученный с использованием Mixed Preference Optimization (MPO). Архитектура сочетает визуальный энкодер InternViT-300M-448px-V2_5, проектор MLP и языковую часть Qwen2.5-0.5B-Instruct; модель распространяется в формате Safetensors и запускается через Transformers. Модель предназначена для ответов на вопросы по изображениям, распознавания и интерпретации визуальной информации, включая работу с несколькими изображениями и видео. Динамическое разрешение разбивает изображения на фрагменты 448×448 пикселей, а pixel unshuffle сокращает число визуальных токенов. По результатам приведённых в карточке тестов MPO улучшает отдельные показатели, в частности OCRBench и MathVista, по сравнению с InternVL2.5-1B. Карточка не приводит длину контекста или перечень поддерживаемых языков, кроме общей пометки multilingual. Лицензия — MIT.

OpenGVLab/InternVL2_5-38B-MPO — мультимодальная чат-модель из семейства InternVL2.5-MPO, разработанная OpenGVLab. Она основана на InternVL2.5-38B и использует Mixed Preference Optimization (MPO), сохраняя архитектуру ViT-MLP-LLM: визуальный энкодер InternViT соединён с языковой моделью через MLP-проектор. Модель предназначена для диалога по изображениям, нескольким изображениям и видео, а также для генерации текста по визуальному контексту; среди поддерживаемых сценариев — ответы на вопросы по изображениям, анализ диаграмм и документов, распознавание текста на изображениях и мультимодальные задачи на понимание и рассуждение. Модель работает с динамическим разрешением: изображения разбиваются на фрагменты 448×448 пикселей, а pixel unshuffle сокращает число визуальных токенов. Карточка указывает мультиязычность, но не перечисляет отдельные языки. Для запуска приведены инструкции по Transformers и варианты bf16/fp16, 8-битной квантизации и распределению по нескольким GPU. Репозиторий использует safetensors и библиотеку Transformers. Лицензия — MIT. Размер контекста в предоставленных данных не указан.

InternVL3.5-14B-HF — мультимодальная модель семейства InternVL, разработанная OpenGVLab и представленная в формате, совместимом со стандартными API Transformers. Это плотная модель класса InternVLForConditionalGeneration с 14 млрд параметров; она дообучена на основе OpenGVLab/InternVL3_5-14B-MPO. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы для диалога и мультимодальных задач. Модель предназначена для понимания изображений, визуальных вопросов и ответов, распознавания текста на изображениях и рассуждений по визуальному содержимому. Семейство InternVL3.5 также описано как ориентированное на широкий круг мультимодальных, текстовых и агентных задач; для этого репозитория метаданные подтверждают задачи image-text-to-text и возможности чата и работы с изображениями. В карточке заявлены Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптации разрешения визуальных токенов; описанная система развертывания DvD разделяет обработку зрения и языка для повышения эффективности при обслуживании. Модель доступна под лицензией Apache-2.0. В README не приведены отдельные численные ограничения контекста или перечень поддерживаемых языков для версии 14B-HF; языковая поддержка обозначена метаданными как многоязычная. Результаты и характеристики, заявленные для всего семейства, могут отличаться для конкретного чекпойнта.

InternVL3.5-241B-A28B — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab. Она сочетает зрительный модуль с языковой моделью и предназначена для диалогов по изображениям и тексту, мультимодальных рассуждений и агентных сценариев, включая взаимодействие с графическим интерфейсом. В метаданных указаны 241B параметров в названии модели и архитектура InternVLChatModel; модель работает через Transformers и хранится в формате safetensors. Семейство InternVL3.5 использует Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной настройки разрешения визуальных токенов. В README описано разделение зрительной и языковой частей при развёртывании, чтобы повысить эффективность вывода. Модель заявлена как мультиязычная; конкретный список языков и длина контекста в предоставленных данных не приведены. Модель подходит для вопросов по изображениям, визуального и текстового рассуждения, OCR-подобных задач, понимания видео и агентного взаимодействия. Для развёртывания варианта на 235B параметров README указывает необходимость восьми GPU A100, поэтому для этой версии требуются значительные вычислительные ресурсы. Лицензия — Apache 2.0; в метаданных базовой моделью указана OpenGVLab/InternVL3_5-241B-A28B-MPO.

InternVL3.5-30B-A3B-Instruct — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab и представленная в формате Transformers. Это дообученная версия InternVL3_5-30B-A3B-Pretrained с архитектурой InternVLChatModel; репозиторий содержит веса в safetensors и распространяется по лицензии Apache-2.0. Модель принимает изображения и текст и генерирует текстовые ответы. Она предназначена для диалога по изображениям, визуального рассуждения и решения задач на понимание текста в изображениях; семейство также заявляет поддержку взаимодействия с графическим интерфейсом и embodied-сценариев. README описывает Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной обработки визуальных токенов. В названии указана конфигурация 30B-A3B; README сообщает, что модели семейства до 30B параметров могут работать на одной GPU A100. Карточка не уточняет длину контекста и языки помимо общего указания на многоязычность в метаданных. Ограничения, связанные с точностью или безопасностью, для этой конкретной версии не описаны.

InternVL3.5-38B-Pretrained — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab. Она объединяет визуальный энкодер InternViT и языковую модель Qwen3-32B; в карточке указано, что релиз относится к семейству открытых мультимодальных моделей и использует подход merge. Модель принимает изображения и текст и формирует текстовые ответы; заявлены диалоговый режим и интерфейс вызова инструментов. Модель предназначена для диалога по изображениям, визуальных вопросов и ответов, мультимодальных рассуждений, OCR-сценариев, а также текстовых задач. В README описаны Cascade RL для улучшения рассуждений и Visual Resolution Router для динамической обработки визуальных токенов; при этом опубликованные там общие показатели и дополнительные возможности относятся к семейству InternVL3.5 и не обязательно характеризуют именно вариант 38B-Pretrained. Для запуска 38B README указывает потребность в двух GPU A100. Репозиторий содержит веса safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Карточка не приводит отдельного ограничения по языкам конкретно для этой версии; метаданные обозначают модель как многоязычную.

kanana-1.5-v-3b-instruct — мультимодальная языковая модель семейства Kanana-1.5-V, разработанная командой Unified Foundation Model в Kakao. Она принимает текст и изображения и генерирует текст; архитектура включает энкодер изображений, C-abstractor и языковую модель kanana-1.5-3b-instruct. Модель содержит около 3,67 млрд параметров, поддерживает контекст до 32 тысяч токенов и предназначена для работы на английском и корейском языках. Модель подходит для описания изображений, понимания документов, рассуждений по распознанному тексту и выполнения мультимодальных инструкций. В опубликованных Kakao оценках она показала результаты на англоязычных и корейских тестах понимания изображений и следования инструкциям; результаты бенчмарков не гарантируют точность в каждом пользовательском сценарии. Модель может выдавать неточную или вводящую в заблуждение информацию, особенно при работе с научными диаграммами и математическими задачами. Её не рекомендуется применять в медицине, праве и других областях с высокими ставками; качество языков, кроме корейского и английского, не оценивалось и может быть низким. Лицензия — kanana-license.

openbmb/MiniCPM-V-4.6-BNB — это квантованная в формате bitsandbytes NF4, 4-битная версия мультимодальной модели MiniCPM-V 4.6, разработанной командой OpenBMB. Модель предназначена для понимания изображений, нескольких изображений и видео, включая визуальный анализ, OCR и работу с мультимодальными запросами. Она ориентирована на эффективное развертывание на периферийных устройствах и мобильных платформах iOS, Android и HarmonyOS. В основе MiniCPM-V 4.6 используются визуальный энкодер SigLIP2-400M и языковая модель Qwen3.5-0.8B. Архитектура применяет смешанное сжатие визуальных токенов с коэффициентами 4x и 16x, что позволяет выбирать баланс между точностью и скоростью; вычислительная нагрузка визуального кодирования снижена более чем на 50%. README не указывает размер контекстного окна и полный список поддерживаемых языков. Доступна интеграция с Transformers, vLLM, SGLang, llama.cpp и Ollama, а также экосистемами дообучения SWIFT и LLaMA-Factory. К сильным сторонам относятся компактность, низкая стоимость инференса, высокая эффективность на мобильных устройствах и мультимодальные возможности, сопоставимые с более крупными моделями на ряде тестов. Ограничения включают потери, связанные с 4-битной квантизацией, а также отсутствие в README подробностей о точности на конкретных задачах, контекстном окне и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

openbmb/MiniCPM-V-4.6-gguf — это GGUF-квантованная версия мультимодальной модели MiniCPM-V 4.6, разработанной командой OpenBMB. Модель предназначена для понимания изображений, нескольких изображений и видео, включая визуальные вопросы и ответы, OCR и другие задачи анализа визуального содержимого. Она ориентирована прежде всего на эффективное развёртывание на периферийных устройствах и мобильных платформах: iOS, Android и HarmonyOS. Архитектура основана на визуальном энкодере SigLIP2-400M и языковой модели Qwen3.5-0.8B. Для повышения эффективности используется смешанное сжатие визуальных токенов 4x/16x, а вычислительная стоимость визуального кодирования, согласно README, снижена более чем на 50%. Заявлена примерно в 1,5 раза более высокая пропускная способность токенов по сравнению с Qwen3.5-0.8B. Модель поддерживает inference через Transformers, vLLM, SGLang, llama.cpp и Ollama, а также адаптацию и дообучение с помощью SWIFT и LLaMA-Factory. Точные параметры контекстного окна и перечень поддерживаемых языков в представленных данных не указаны. Сильные стороны модели — компактность, низкая вычислительная стоимость, поддержка анализа изображений и видео и возможность запуска на потребительских устройствах. Ограничения связаны с меньшим размером языковой части по сравнению с крупными мультимодальными моделями и с тем, что квантование может влиять на точность; конкретные характеристики зависят от выбранного варианта GGUF. Репозиторий распространяется по лицензии Apache-2.0.

MiniCPM-V-4.6-Thinking — мультимодальная модель с открытыми весами от команды OpenBMB, вариант MiniCPM-V 4.6 для рассуждений с явной цепочкой анализа перед ответом. Она предназначена для диалога по изображениям и видео, визуальных вопросов и ответов, сложных мультимодальных задач, математики и распознавания текста на изображениях. Модель использует плотную архитектуру: визуальный энкодер SigLIP2-400M сочетается с языковой моделью Qwen3.5-0.8B; для визуальных токенов применяется сжатие 4x/16x. В README заявлена работа на устройствах iOS, Android и HarmonyOS, а метаданные указывают поддержку Transformers и интерфейса вызова инструментов. Модель принимает текст и изображения, а также может анализировать видео; выдаёт текстовые ответы и объяснения. Сведения о поддерживаемых естественных языках и длине контекста в предоставленных данных отсутствуют. Среди сильных сторон — компактная архитектура, ориентация на запуск на устройствах и режим рассуждений для сложных визуальных задач. При обработке видео кадры выбираются с ограничением по max_num_frames, а детализация изображений зависит от режима сжатия и числа срезов. Для работы с видео в некоторых конфигурациях CUDA возможны проблемы совместимости torchcodec; README описывает обходные варианты. Лицензия — Apache-2.0.

Карточка модели abhi0127/moondream2 на Hugging Face совпадает с карточкой ThomasSimonini/Moondream2-streaming, поэтому описание составлено по ней. Moondream2-streaming — компактная плотная визуально-языковая модель семейства Moondream, опубликованная ThomasSimonini. Она предназначена для эффективного запуска на периферийных устройствах и отвечает на текстовые вопросы по изображениям, в том числе помогает читать документы и считать объекты. В карточке приведены результаты на VQAv2, GQA, TextVQA, DocVQA, TallyQA и POPE; репозиторий содержит варианты safetensors и GGUF F16. Модель принимает изображение вместе с текстовым запросом и выдаёт текстовый ответ. Для использования указан стек Transformers и einops. Версия модели обновляется, поэтому для воспроизводимости README рекомендует закреплять конкретный релиз. Лицензия — Apache-2.0.

google/paligemma-3b-ft-ocrvqa-224 — разработанная Google дообученная модель PaliGemma для визуальных вопросов и ответов, связанных с чтением текста на изображениях (OCRVQA). Это компактная модель зрения и языка на 3 млрд параметров с разрешением изображения 224 пикселя: она принимает изображение и текстовый запрос и генерирует текстовый ответ. Архитектура объединяет визуальную модель SigLIP и языковую модель Gemma; для работы предусмотрена библиотека Transformers. Модель предназначена для одношагового распознавания текста на изображениях и ответов на вопросы по их содержимому. Она не рассчитана на многоходовый диалог и лучше подходит для конкретных задач с ясными инструкциями, чем для открытого общения. Лицензия — Gemma. Ответы могут содержать фактические ошибки; модель может испытывать трудности с неоднозначными или сложными запросами и унаследовать смещения из обучающих данных. Для критичных сценариев ответы следует проверять.