I.8Изображения и компьютерное зрение

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, разработанная командой Qwen. Представленная версия распространяется в формате GGUF и квантизирована bartowski на базе llama.cpp. Размер модели — 7B параметров, лицензия — Apache 2.0. Модель предназначена для задач image-text-to-text: анализа изображений и текста, ответов на вопросы по визуальному содержимому, распознавания объектов, работы с текстами, таблицами, диаграммами, иконками, графикой и макетами. Она также рассчитана на сценарии визуального агента, включая рассуждение и динамическое управление инструментами, компьютером или телефоном, а также на генерацию структурированных данных и стабильных JSON-ответов. Заявлена поддержка нескольких языков, однако их точный перечень в README не указан. Ключевая характеристика модели — контекст длиной до 128 тысяч токенов. Сильными сторонами являются мультимодальный анализ сложных визуальных материалов, работа со структурированным выводом и применение в агентских сценариях. README не содержит результатов benchmark-тестов, подробностей архитектуры, информации о конкретном варианте квантизации, системных требованиях и количественной оценке ограничений, поэтому фактическое качество и требования к ресурсам следует проверять отдельно.

MiniCPM-V 4.5 — мультимодальная модель OpenBMB для диалога и понимания изображений, нескольких изображений и видео. По README, её языковая часть основана на Qwen3-8B, а визуальная — на SigLIP2-400M; архитектура включает единый 3D-ресэмплер для сжатия видеокадров. В метаданных указано 7,6 млрд параметров, библиотека Transformers и контекст 40 960 токенов. Модель предназначена для описания и анализа изображений и видео, распознавания текста, разбора документов и визуальных вопросов и ответов. README заявляет поддержку более 30 языков, обработку изображений высокого разрешения до 1,8 млн пикселей и видео с частотой до 10 кадров в секунду. Доступны переключаемые режимы быстрого и углублённого рассуждения; разработчики также отмечают поддержку локального запуска и интерфейса вызова инструментов. Возможности и показатели качества в README основаны на оценках разработчиков и бенчмарках; фактическое качество зависит от сценария и оборудования. Модель выпущена под лицензией Apache-2.0.

Qwen3.8-27B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.8-27B, созданная vrfai на основе исходной модели Qwen. Она предназначена для задач понимания текста и изображений, включая визуальные вопросы и ответы, анализ документов, диаграмм, OCR и математических изображений. Модель рассчитана на использование через Transformers и vLLM. Модель имеет 27 млрд параметров и распространяется в формате NVFP4 W4A4 с сериализацией compressed-tensors. Размер контрольной точки составляет 18,4 ГБ против 52 ГБ у базовой модели. Квантизация применяется к 93,28% весов линейных слоёв; отдельные компоненты, включая зрительную башню, lm_head, нормализации, эмбеддинги и некоторые слои Gated DeltaNet, сохранены в bf16. В архитектуре используются attention и Gated DeltaNet, однако размер контекстного окна и список поддерживаемых языков в карточке не указаны. Основное преимущество модели — существенно меньшее потребление памяти при сохранении мультимодальных возможностей. При наличии GPU с compute capability 10.0 или новее, например NVIDIA Blackwell B100, B200 или GB200, поддерживается полноценная NVFP4-арифметика. На H100, H200 и графических процессорах Ada модель работает через weight-only путь Marlin FP4: экономия памяти сохраняется, но вычисления, особенно при обработке длинных входов и больших пакетов, могут быть медленнее, чем у версии bf16. Результаты тестов показывают измеримые потери на отдельных задачах компьютерного зрения и обработки документов; опубликованные оценки не следует напрямую считать показателями полноценного W4A4-режима на Blackwell. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-4bit — общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах с Apple Silicon. Конверсия выполнена Vontra непосредственно из официального BF16-чекпойнта и предназначена для задач генерации текста и обработки изображений в сценариях vision-language. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, объединяющую Gated DeltaNet, Qwen Sparse Attention, разреженные MoE-слои, расширенные gated residual-потоки и хешированные bigram/trigram-эмбеддинги. Языковая часть содержит 125 млрд параметров, из которых активно используется около 6 млрд, а таблицы n-gram-эмбеддингов включают 51 млрд параметров. Архитектура имеет 48 слоёв, 512 маршрутизируемых экспертов с активацией 10 экспертов и одного общего, 24 attention heads и 2 KV heads. Заявленный контекст — до 262 144 токенов; сохранены исходные токенизатор, chat template, vision processor и настройки генерации. Весы представлены в формате MLX safetensors и подвергнуты 4-битному аффинному квантованию с group size 32, что делает модель пригодной для локального запуска через совместимые версии MLX-VLM или oMLX. На Apple M3 Studio сообщается около 24,1–26,1 токена в секунду при прогретой генерации через oMLX и 31 токен в секунду в коротком standalone-тесте. К ограничениям относятся возможное снижение качества из-за квантования, высокая потребность в памяти, отсутствие опциональной MTP-head и необходимость runtime с поддержкой qwen4_exp; подключение Qwen3.8 27B MTP drafter несовместимо. Модель распространяется по Qwen Community License 1.0. Это неофициальный релиз Qwen: дизайн, обучение и исходная документация принадлежат Qwen и первоначальным авторам, а MLX-конверсия, проверка на Apple Silicon и упаковка выполнены Vontra.

SherlockID365/Qwen3-VL-8B-Instruct-quantized.w4a16 — квантизированная версия мультимодальной vision-language модели Qwen/Qwen3-VL-8B-Instruct. В карточке не указан отдельный разработчик производной версии; базовая модель связана с семейством Qwen. Модель предназначена для задач, требующих обработки текста и визуальных данных, включая мультимодальные инструкции и анализ изображений. Модель содержит около 8 миллиардов параметров и использует архитектуру с визуальной частью, которая не подвергалась преобразованию при квантизации. Линейные слои квантизированы методом AWQ в формате W4A16: веса представлены 4 битами, активации сохраняются в формате FP16, используется group_size=128, zero_point=true и версия gemm. Контекстное окно и точный перечень поддерживаемых языков в README не указаны. Ключевое преимущество версии — уменьшенное потребление памяти и потенциально более высокая эффективность инференса по сравнению с полноточной моделью, что удобно для запуска через совместимые инструменты, включая vLLM. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, а также с зависимостью от поддержки формата AWQ и используемого программного окружения. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-72B-Instruct — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen; репозиторий unsloth содержит вариант модели в формате GGUF. Модель предназначена для обработки изображений, текста и видео, включая визуальные вопросы и ответы, распознавание текста, анализ документов, таблиц, графиков и макетов, а также извлечение структурированных данных из счетов, форм и сканов. Модель содержит 72 миллиарда параметров и основана на Qwen2.5-VL. Она использует vision-language архитектуру с оптимизированным vision encoder на базе ViT, оконным вниманием, SwiGLU и RMSNorm. Для видео применяются динамические разрешение и частота кадров, что позволяет анализировать длительные ролики продолжительностью более часа и находить релевантные временные сегменты. Модель также поддерживает визуальную локализацию объектов с помощью bounding boxes или точек, стабильный JSON-вывод координат и атрибутов, а также сценарии компьютерного и мобильного управления. В метаданных указан английский язык; поддержка китайского также отражена в результатах OCRBench-V2. К сильным сторонам относятся анализ сложных визуальных материалов, OCR, понимание документов и графиков, обработка длинных видео, локализация объектов и формирование структурированных ответов. Ограничениями являются большой размер модели и, как следствие, высокие требования к вычислительным ресурсам; конкретные требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Qwen; точные условия следует уточнять в файле лицензии по указанной ссылке.

Qwen3-VL-235B-A22B-Instruct-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса в формате GGUF для базовой модели Qwen3-VL-235B-A22B-Instruct и предназначен для локального запуска через llama.cpp, Ollama и другие совместимые инструменты на CPU, NVIDIA GPU с CUDA, Apple Silicon с Metal, Intel GPU с SYCL и аналогичных платформах. Модель обрабатывает текст и визуальные данные, включая изображения и видео. Она предназначена для генерации и понимания текста, визуального анализа и рассуждений, распознавания объектов и текста, пространственного анализа, работы с длинными документами и видео, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков для всех режимов работы не указан. Архитектура базовой модели — MoE с общим размером 235B параметров и 22B активных параметров; в составе GGUF отдельно поставляются языковая модель и vision encoder. Доступны варианты точности FP16, Q8_0 и Q4_K_M для языковой части и FP16 или Q8_0 для vision encoder, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Ограничения включают очень высокие требования к вычислительным ресурсам для крупной модели, зависимость возможностей от выбранной квантизации и совместимого программного обеспечения, а также отсутствие в README подробных количественных результатов и полного списка языков. Лицензия — Apache-2.0.

Qwen3-VL-32B-Thinking — мультимодальная модель для понимания и генерации текста на основе изображений, видео и текстовых запросов. Базовую модель разработала команда Qwen, а данный репозиторий предоставляет её веса в формате GGUF и включает исправления шаблона чата от Unsloth. Модель предназначена для визуального анализа, OCR, STEM- и математического рассуждения, понимания пространственных отношений и видео, генерации кода и взаимодействия с графическими интерфейсами компьютеров и мобильных устройств. Модель относится к плотной архитектуре и содержит 32 млрд параметров. Она поддерживает нативный контекст 256 тысяч токенов с возможностью расширения до 1 млн, а также обработку длительных документов и многочасового видео. Заявлены улучшения визуального и пространственного восприятия, временной привязки событий в видео, распознавания текста на 32 языках и работы с изображениями в сложных условиях, включая низкую освещённость, размытие и наклон. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание развитого текстового и визуального рассуждения, длинного контекста, анализа пространственных и временных связей, а также сценариев визуального агента и визуального программирования. Ограничения README не описывает; формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp, для которого рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Thinking-GGUF — это мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Репозиторий содержит веса базовой модели Qwen3-VL-4B-Thinking в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для локального запуска на пользовательских устройствах. Модель поддерживает сценарии визуального анализа, OCR, пространственного рассуждения, STEM- и математические задачи, понимание документов и видео, генерацию кода и разметки по изображениям, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены улучшенные визуальное восприятие и рассуждение, распознавание текста на 32 языках, работа с объектами, позициями, перекрытиями и временными событиями в видео. Для семейства Qwen3-VL указано нативное контекстное окно 256K токенов с возможностью расширения до 1M. Веса доступны для языковой модели в вариантах FP16, Q8_0 и Q4_K_M, а для vision encoder — в FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими инструментами GGUF; заявлена поддержка CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Для работы требуются совместимые инструменты и отдельный файл vision encoder, а выбор квантования может влиять на качество и производительность. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF с оптимизациями Unsloth Dynamic 2.0. Это instruct-версия, предназначенная для диалога, анализа изображений и видео, генерации текста по визуальному контексту, OCR, визуального рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру: в названии указано 30B параметров, из которых 3B активируются для отдельного запроса. Она поддерживает текст и визуальные данные, включая изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с книгами, длинными документами и многочасовыми видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков ViT, а также выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое понимание текста и визуального контекста, распознавание объектов и документов, пространственное и временное рассуждение, генерация кода и разметки по изображениям и видео, а также потенциальная работа визуального агента с GUI. README не содержит точных результатов тестов, сведений о конкретных языках общего текстового общения, размерах файлов и параметрах отдельных квантований, поэтому характеристики производительности и требования к ресурсам оценить нельзя. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-bnb-4bit — это 4-битно квантованная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, подготовленная Unsloth на базе модели Qwen Team. Модель предназначена для задач, в которых требуется совместная обработка текста и изображений, включая визуальные вопросы и ответы, описание изображений, OCR, анализ документов, визуальное рассуждение, работу с видео и взаимодействие с графическими интерфейсами. Модель имеет плотную архитектуру и около 4 миллиардов параметров; поддерживает текстово-визуальный ввод и вывод текста. Для семейства Qwen3-VL заявлены нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, анализ продолжительных видео, распознавание текста на 32 языках, улучшенное пространственное рассуждение, временная привязка событий в видео и генерация кода HTML/CSS/JS или схем Draw.io по визуальным материалам. В README также указаны механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, однако конкретные языки интерфейса и точные параметры именно этой квантованной сборки не уточняются. К сильным сторонам относятся сочетание визуального восприятия и текстового понимания, работа с документами и видео, распознавание текста в сложных условиях, а также возможность применения в агентских сценариях и на устройствах с ограниченными ресурсами благодаря 4-битной квантизации. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью и неуточнённые требования к аппаратному обеспечению и совместимости. Лицензия — Apache-2.0.

gemma-4-E2B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем или организацией prithivMLmods. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для исследований и приложений на базе llama.cpp. Она поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, анализ изображений, OCR, анализ кадров видео и native function calling. Доступен настраиваемый режим рассуждений. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров вместе с embedding-слоями, использует Per-Layer Embeddings и Quantization-Aware Training (QAT). Архитектура включает 35 слоёв с чередованием локального sliding window attention на 512 токенов и глобального внимания, а также отдельные vision- и audio-энкодеры примерно на 150 млн и 300 млн параметров соответственно. Контекстное окно составляет 128K токенов, словарь — 262 тысячи токенов, заявлена поддержка более 140 языков; в README явно указан английский язык. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16, F16 и F32, с размером основных файлов примерно от 2,98 до 18,5 ГБ. К сильным сторонам относятся мультимодальность, большое контекстное окно, оптимизация QAT для снижения требований к памяти и локального инференса, а также широкий выбор уровней квантования. Ограничения — заметные требования к памяти для старших вариантов, а также отсутствие подробных данных о производительности на конкретном оборудовании и практических ограничениях мультимодальных возможностей. Лицензия — Apache-2.0.

Qwen3.8-27B-abliterated-GGUF — GGUF-квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованная пользователем prithivMLmods. Это вариант Qwen3.8-27B, созданный с применением abliteration — редактирования активаций, направленного на удаление поведения, связанного с отказами. Модель представляет собой плотную causal language model на 27 млрд параметров с нативным vision encoder и поддержкой обработки текста и изображений. Модель предназначена для локального запуска через llama.cpp и совместимые среды, а также для генерации и анализа текста, понимания изображений и видео, визуальных вопросов и ответов, OCR, описания изображений и видео, документного анализа и визуального рассуждения. Заявлены поддержка английского и китайского языков, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN, а также управление глубиной рассуждений параметром reasoning_effort. Архитектура включает 64 слоя с чередованием блоков линейного внимания Gated DeltaNet и периодических слоёв Gated Attention. Доступны варианты от BF16 и F16 до Q2_K–Q8_0, что позволяет выбирать между качеством и требованиями к памяти; размеры файлов составляют примерно от 10,7 до 53,8 ГБ, отдельно поставляются мультимодальные проекторы. К ограничениям относятся отсутствие MTP-голов в формате GGUF, поэтому преимущества Multi-Token Prediction и связанной спекулятивной декодировки исходной модели недоступны. Abliteration является экспериментальным подходом и может влиять на поведение и надёжность модели. В README указана лицензия Apache 2.0.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

Mungert/Qwen3-VL-8B-Instruct-GGUF — квантованная GGUF-версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen и подготовленной пользователем Mungert с помощью llama.cpp. Модель предназначена для задач «изображение—текст»: анализа изображений и видео, генерации текста, визуального вопросно-ответного взаимодействия, OCR, пространственного рассуждения, анализа документов, визуального программирования и взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает обработку текста, изображений и видео. Заявлены нативный контекст до 256K токенов с возможностью расширения до 1M, понимание длительных видео с временной индексацией, улучшенное пространственное рассуждение и OCR для 32 языков. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Формат GGUF ориентирован на запуск через llama.cpp и другие совместимые средства локального инференса. Сильными сторонами являются мультимодальность, распознавание текста в сложных условиях, анализ пространственных и временных отношений, работа с длинным контекстом и возможности визуального агента. Точность и размер файла зависят от выбранного уровня квантования: низкая разрядность может ухудшать качество, тогда как описанный автором подход с повышением точности отдельных слоёв увеличивает размер модели и потенциально сохраняет больше точности. README не содержит подробных результатов тестирования конкретных квантованных файлов и сведений о требованиях к оборудованию. Лицензия — Apache 2.0.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-MXFP4 — производственная MXFP4-версия экспериментальной мультимодальной модели DeepSeek-V4-Flash-Vision-Exp, разработанной DeepSeek-AI и подготовленной, проверенной и упакованной Solstice-AI. Модель предназначена для обработки текста и изображений, мультимодального рассуждения, анализа визуального содержания, генерации кода и задач, требующих работы с длинным контекстом. README также указывает совместимость с Transformers, vLLM, SGLang и TensorRT-LLM, а также готовность к speculative decoding через DSpark. Архитектура включает 305 млрд параметров в конфигурации Mixture-of-Experts, из которых 13 млрд активируются для каждого токена. Указаны 43 скрытых слоя, 256 маршрутизируемых экспертов с шестью активными на токен, Multi-Head Latent Attention и отдельный 32-слойный vision encoder. Заявлена поддержка контекста до 1 048 576 токенов. Основная часть экспертных весов предварительно обучена в формате OCP MXFP4, а исполнение использует схему W4A16: веса представлены в 4-битном формате, активации сохраняются в 16-битном BF16; ряд компонентов, включая vision encoder, маршрутизаторы и нормализации, сохраняется в более высокой точности. К сильным сторонам относятся высокая вычислительная и memory-bandwidth эффективность по сравнению с полноразмерным представлением, мультимодальность и очень длинное контекстное окно. Ограничения — значительный общий размер модели и требовательность к GPU-инфраструктуре: для практического развёртывания README рекомендует конфигурации от нескольких GPU, а полный контекст в 1 млн токенов рассчитан на крупные кластеры. Модель обозначена как экспериментальная, а приведённые в README результаты тестирования представлены неполностью. Лицензия — MIT.

Это производная MLX-версия модели Ornith 1.5 35B-A3B, разработанной ornith-ai и адаптированной пользователем Shiftedx. Модель предназначена для генерации текста и работы с изображениями в сценариях image-text-to-text, включая решение задач программирования, вызов функций и инструментов, структурированный вывод, OCR и визуальный анализ. Модель использует гибридную конфигурацию: 4-битное аффинное квантование экспертного блока, 8-битные attention, routing, embeddings, LM head и поздние проекции, а также 60 рекуррентных тензоров в BF16. В составе сохранены 333 нативных BF16-тензора vision и 785 BF16-тензоров MTP. Рекомендуемая среда запуска — MTPLX 2.9.1, MLX 0.32.1 и MLX-LM 0.31.3; рекомендованная глубина speculative decoding — D3. Поддержка vision требует совместимого MLX-VLM или MTPLX runtime. Языки и размер контекстного окна в README не указаны. По результатам локальной квалификации на M4 Max с 64 ГБ unified memory модель показала успешное выполнение 8 из 8 исполняемых Python-задач, 6 из 6 тестов native function calling и parallel tool planning, 4 из 4 визуальных семантических проверок, а также успешные OCR со строгой схемой и проверки сохранности vision- и MTP-тензоров. Utility pass rate составил 83,3%. Abliteration полностью устранила отказы на тестовом наборе, но может снижать предсказуемость безопасного поведения; README отдельно предупреждает, что она не гарантирует корректность или безопасность вывода. Скорость 112,1 токена в секунду измерена на конкретном M4 Max и не является универсальным показателем. Модель распространяется по лицензии MIT, унаследованной от родительской модели. Следует проверять сгенерированный код и вызовы инструментов перед выполнением; без заданной схемы ответа модель может оборачивать JSON в Markdown.

dots.ocr-1.5 — мультимодальная модель OCR и разбора документов, разработанная rednote-hilab (Xiaohongshu); эта копия загружена на Hugging Face с ModelScope. Архитектура DotsOCRForCausalLM сочетает зрительный энкодер и языковую модель. В метаданных указано 1,5 млрд параметров, а README описывает исходную версию как модель на 3 млрд параметров; эти сведения расходятся. Модель принимает изображения и текстовые запросы и выдаёт распознанный текст, структурированные данные или SVG. Заявлены контекст до 131 072 токенов и поддержка английского, китайского и ряда других языков, включая русский. Модель предназначена для распознавания текста и структуры документов, включая таблицы, формулы и блоки разметки, а также для ответов на вопросы по изображениям документов и диаграмм. Она также может разбирать снимки веб-страниц и сцены с текстом, находить объекты и считать их, преобразовывать диаграммы и другие графические материалы в SVG. README приводит результаты на тестах DocVQA, ChartQA и OCRBench и отмечает сильные результаты в многоязычном разборе документов. По README, сложные таблицы и формулы остаются трудными для компактной версии модели, преобразование изображений в SVG требует улучшения, а в отдельных случаях возникают ошибки разбора. Для запуска с Transformers требуется включить доверенную загрузку пользовательского кода; в vLLM необходимо передавать содержимое запроса в строковом формате. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверить с исходным проектом rednote-hilab.

lmstudio-community/Qwen2.5-VL-32B-Instruct-GGUF — мультимодальная инструкционная модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для работы с текстом и изображениями, включая анализ визуального содержимого и выполнение задач по инструкциям. Модель подходит для распознавания объектов, анализа текста на изображениях, таблиц, диаграмм, значков, графики и макетов. Она также может использоваться как визуальный агент для рассуждений и динамического управления инструментами, включая сценарии взаимодействия с компьютером и телефоном. Поддерживаются структурированные ответы и стабильная генерация JSON, а также многоязычная работа. Заявленная длина контекста составляет 128 000 токенов, размер модели — 32B параметров. К сильным сторонам относятся развитый анализ визуальной информации, поддержка длинного контекста, мультимодальность, многоязычность и способность формировать структурированные результаты. Это квантизированная community-версия, поэтому её характеристики могут зависеть от конкретной квантизации и среды запуска; как и другие языковые модели, она может генерировать неточные или неподходящие ответы. Лицензия модели — Apache 2.0.

Qwen2-VL-2B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen2-VL, разработанная командой Qwen. Это квантованная версия модели Qwen2-VL-2B-Instruct с примерно 2 млрд параметров, предназначенная для задач image-text-to-text: анализа изображений и видео, визуального ответа на вопросы, работы с документами, распознавания текста на изображениях и диалога по визуальному содержимому. Модель поддерживает изображения произвольного разрешения и соотношения сторон благодаря динамическому представлению визуальных токенов, а также видео длительностью более 20 минут. Архитектура использует Multimodal Rotary Position Embedding (M-ROPE), разделяющий позиционную информацию для текста, двумерных изображений и трёхмерного видео. Заявлена поддержка английского и китайского языков, а также текстов на изображениях на большинстве европейских языков, японском, корейском, арабском и вьетнамском языках. Модель может применяться в визуальном анализе, Document VQA, математических задачах по изображениям, видеоаналитике и сценариях управления устройствами. Ключевое преимущество версии AWQ — сниженное потребление памяти по сравнению с BF16 за счёт квантования, что упрощает локальный запуск. При этом квантование может немного снижать точность: в приведённых тестах AWQ получила 41,33 на MMMU, 86,96 на DocVQA, 71,64 на MMBench и 39,90 на MathVista. README не указывает точное максимальное окно контекста; в тестах использовались входы до 129024 токенов, но результаты производительности для AWQ приведены только до 30720 токенов. Модель распространяется по лицензии Apache-2.0.

Vishva007/Qwen3.8-27B-W4A16-AutoRound-GPTQ — квантованная версия модели Qwen/Qwen3.8-27B, подготовленная с использованием алгоритма Intel AutoRound. Базовая архитектура разработана командой Qwen; автор репозитория адаптировал её для более экономичного запуска. Модель относится к мультимодальным vision-language моделям и поддерживает сценарии обработки текста и изображений с генерацией текста, включая визуальное рассуждение и OCR. Модель содержит около 27 млрд параметров и использует формат W4A16: веса представлены в 4-битном виде, а активации — в 16-битном. Квантование выполнено с размером группы 64, симметричной схемой и калибровкой на 512 образцах. Vision tower сохранён в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество работы с изображениями. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели; это позволяет запускать модель на одной видеокарте с 24 ГБ памяти. В README приведён пример использования с vLLM и длиной контекста 4096 токенов, однако полный набор поддерживаемых языков и исходный максимальный контекст не указаны. К преимуществам относятся существенно сниженные требования к VRAM, потенциально более высокая скорость декодирования за счёт уменьшения нагрузки на пропускную способность памяти и сохранение vision tower в BF16. Ограничениями являются возможная потеря точности из-за 4-битного квантования, зависимость от совместимости используемого движка с AutoRound или GPTQ и отсутствие подробных результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

Kiel-2-VQA — мультимодальная модель для понимания изображений и диалоговых запросов, разработанная KielTech на основе архитектуры Qwen2.5-VL и дообученная на базе unsloth/qwen2.5-vl-7b-instruct-unsloth-bnb-4bit. Модель принимает изображения вместе с текстовыми вопросами и формирует текстовые ответы; она предназначена для визуального поиска информации и анализа содержимого изображений. Модель ориентирована на ответы на вопросы по фотографиям, диаграммам, интерфейсам и иллюстрациям, разбор документов, таблиц и графиков, извлечение текста методом OCR и определение координат объектов и визуальных элементов. В карточке заявлены высокая точность распознавания текста и экономичный инференс благодаря 4-битной оптимизации BNB NF4. Архитектура — Qwen2_5_VLForConditionalGeneration; поддерживаемый язык — английский. Лицензия Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ3-MTP — это квантованная MLX-версия Qwen3.8-Flash-Next, подготовленная разработчиком Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для запуска на Apple Silicon через совместимые среды MLX и oMLX, включая задачи генерации текста и обработки изображений благодаря архитектуре vision-language. Модель использует архитектуру qwen4_exp со sparse mixture-of-experts, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и n-граммными embeddings. Всего заявлено 125 млрд параметров языковой модели, из которых активно используется около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Контекст составляет 262 144 токена, а upstream-версия допускает расширение до 1 млн токенов. В состав включён native MTP-блок на 4 млрд параметров для speculative decoding. Квантование oQ3 использует 3-битную аффинную основу с размером группы 32 и 746 модулями повышенной точности: части весов представлены в 4-, 5-, 6- и 8-битном формате. Модель занимает около 92,5 ГБ и поставляется в формате MLX safetensors. В тесте на Apple M3 Studio включение native MTP повысило скорость генерации с 26,54 до 29,08 токена в секунду, однако фактическая производительность зависит от длины контекста, версии runtime, памяти и тепловых условий. Для работы требуется runtime с явной поддержкой qwen4_exp и native MTP; неподдерживаемые среды могут не загрузить модель. Модель распространяется по лицензии Qwen Community License 1.0. README не содержит полных сведений о результатах upstream-оценок, безопасности и ограничениях исходной модели; за ними следует обращаться к оригинальной карточке Qwen3.8-Flash-Next.

Карточка модели JSCreatorPro/offline-vision-qwen25-vl-7b на Hugging Face совпадает с карточкой unsloth/Qwen2.5-VL-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-VL-7B-Instruct — мультимодальная инструкционная модель семейства Qwen, представленная в репозитории Unsloth на основе Qwen/Qwen2.5-VL-7B-Instruct. Это плотная архитектура Qwen2.5-VL с 7,1 млрд параметров, поддерживающая диалоговую работу с изображениями; длина контекста составляет 32 768 токенов. Модель принимает изображения и текстовые запросы, а отвечает текстом, в том числе может выдавать структурированные данные и координаты объектов. Модель предназначена для анализа изображений и документов, распознавания текста, таблиц, диаграмм и макетов, визуальных вопросов и ответов, а также понимания видео и локализации событий. Карточка описывает возможности визуального агента для взаимодействия с интерфейсами и инструментами. Динамическое разрешение позволяет настраивать баланс качества, скорости и расхода памяти. В README приведены результаты на бенчмарках изображений, видео и экранных интерфейсов. Для обработки изображений высокого разрешения требуется больше вычислений; поддержка видео зависит от используемой библиотеки, а видеофайлы подаются локально. Увеличение контекста с YaRN может ухудшить временную и пространственную локализацию. Лицензия — Apache-2.0.

Qwen2.5-VL-7B-Instruct — мультимодальная модель семейства Qwen от команды Qwen, дообученная для следования инструкциям. Она принимает изображения и видео вместе с текстовыми запросами и генерирует текстовые ответы; число параметров — 7,1 млрд, архитектура — плотная Qwen2.5-VL. Модель предназначена для визуального анализа, диалога по изображениям и видео, распознавания текста и структуры документов, а также для сценариев визуального агента. Модель распознаёт объекты и анализирует текст, диаграммы, графики, значки и макеты на изображениях, может локализовать объекты с помощью рамок или точек и формировать структурированные данные, например содержимое счетов, форм и таблиц. Для видео заявлена обработка роликов длительностью более часа и поиск релевантных моментов. В метаданных указан контекст до 128 000 токенов; README описывает конфигурацию на 32 768 токенов и расширение контекста YaRN до более длинных входов, которое может ухудшать пространственную и временную локализацию. Поддерживаются английский и чатовый режим; для входных изображений доступно динамическое разрешение, а обработка видео в описанном интерфейсе рассчитана на локальные файлы. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next MLX Activation-Weighted 3-bit — это MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, опубликованная авторами данного репозитория. Модель предназначена для генерации текста и работы с изображениями, включая сценарии vision-language и OCR. Указанный pipeline имеет тип image-text-to-text, однако поддерживаемые языки в README не перечислены. Исходная модель содержит около 180 млрд параметров: 125 млрд основных параметров, 51 млрд параметров n-граммных embedding-таблиц и 4 млрд параметров MTP. Набор включает 48 банков маршрутизируемых экспертов, сжатых до 3 бит с размером группы 64; остальные подходящие матрицы используют 4-битное квантование. Нативный размер контекста составляет 262 144 токена, а размер артефакта — 83,49 ГиБ. Для запуска требуется MLX-совместимый и Qwen4Exp-aware runtime, например mere.run или mlx-vlm. К сильным сторонам относятся снижение пикового потребления памяти примерно на 19,58% по сравнению с опубликованным Q4-вариантом и сохранение результатов на закрытом наборе из 16 текстовых, графических и OCR-тестов. При этом приведённая квалификация не доказывает общее качество модели или эквивалентность BF16-версии; оценка проводилась на ограниченных наборах, а MTP был отключён при выборе чекпойнта. Распространение осуществляется по Qwen Community License 1.0 с дополнительными требованиями атрибуции и отдельными лицензионными условиями для некоторых коммерческих сценариев.

Карточка модели tiensi/Qwen2.5-VL-3B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen2.5-VL-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-VL-3B-Instruct — мультимодальная модель Alibaba семейства Qwen2.5-VL, представленная в репозитории unsloth как дообученная версия Qwen/Qwen2.5-VL-3B-Instruct. Она принимает текст и изображения, а также может анализировать видео, и формирует ответы на естественном языке или структурированный вывод. Модель предназначена для визуальных вопросов и ответов, чтения текста и таблиц на изображениях, анализа диаграмм и макетов, поиска объектов с координатами, понимания событий в видео и взаимодействия с интерфейсами через визуальные сигналы. Модель использует плотную архитектуру Qwen2.5-VL с примерно 3,1 млрд параметров и поддерживает контекст до 128 000 токенов согласно метаданным. README описывает динамическое разрешение изображений, обработку видео с временной привязкой событий, локализацию объектов в виде рамок или точек и структурированные ответы, например для счетов и форм. Карточка также указывает возможности чата и зрения; для работы заявлена библиотека Transformers. README содержит примеры использования с Transformers и ModelScope. Для видео указана зависимость совместимости URL от сторонних библиотек, а длинный текстовый контекст в README описан через YaRN с базовой конфигурацией 32 768 токенов; при расширении контекста возможна потеря качества пространственной и временной локализации. Лицензия в предоставленных данных не указана.

Qwen2.5-VL-3B-Instruct — мультимодальная модель Alibaba семейства Qwen2.5-VL, представленная в репозитории unsloth как дообученная версия Qwen/Qwen2.5-VL-3B-Instruct. Она принимает текст и изображения, а также может анализировать видео, и формирует ответы на естественном языке или структурированный вывод. Модель предназначена для визуальных вопросов и ответов, чтения текста и таблиц на изображениях, анализа диаграмм и макетов, поиска объектов с координатами, понимания событий в видео и взаимодействия с интерфейсами через визуальные сигналы. Модель использует плотную архитектуру Qwen2.5-VL с примерно 3,1 млрд параметров и поддерживает контекст до 128 000 токенов согласно метаданным. README описывает динамическое разрешение изображений, обработку видео с временной привязкой событий, локализацию объектов в виде рамок или точек и структурированные ответы, например для счетов и форм. Карточка также указывает возможности чата и зрения; для работы заявлена библиотека Transformers. README содержит примеры использования с Transformers и ModelScope. Для видео указана зависимость совместимости URL от сторонних библиотек, а длинный текстовый контекст в README описан через YaRN с базовой конфигурацией 32 768 токенов; при расширении контекста возможна потеря качества пространственной и временной локализации. Лицензия в предоставленных данных не указана.

Карточка модели Lostsoulfs/Qwen2.5-VL-7B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen2.5-VL-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-VL-7B-Instruct — мультимодальная инструкционная модель семейства Qwen, представленная в репозитории Unsloth на основе Qwen/Qwen2.5-VL-7B-Instruct. Это плотная архитектура Qwen2.5-VL с 7,1 млрд параметров, поддерживающая диалоговую работу с изображениями; длина контекста составляет 32 768 токенов. Модель принимает изображения и текстовые запросы, а отвечает текстом, в том числе может выдавать структурированные данные и координаты объектов. Модель предназначена для анализа изображений и документов, распознавания текста, таблиц, диаграмм и макетов, визуальных вопросов и ответов, а также понимания видео и локализации событий. Карточка описывает возможности визуального агента для взаимодействия с интерфейсами и инструментами. Динамическое разрешение позволяет настраивать баланс качества, скорости и расхода памяти. В README приведены результаты на бенчмарках изображений, видео и экранных интерфейсов. Для обработки изображений высокого разрешения требуется больше вычислений; поддержка видео зависит от используемой библиотеки, а видеофайлы подаются локально. Увеличение контекста с YaRN может ухудшить временную и пространственную локализацию. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-2bit-MTP — это MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео на устройствах Apple Silicon через совместимые MLX-совместимые среды, включая oMLX и MLX-VLM. Архитектура указана как vision-language sparse MoE с компонентами Qwen4Exp. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, 48 слоёв, скрытое состояние размером 2560, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Используются Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams, хешированные биграммные и триграммные embedding-компоненты, а также собственный MTP-блок для speculative decoding. Контекст составляет 262 144 токена и может быть расширен до 1 млн токенов в исходной модели. Языки не указаны в предоставленных данных. Ключевая особенность версии — affine-квантизация 2-bit с размером группы 32 для экспертных и predictive-embedding-модулей при сохранении чувствительных компонентов, включая attention, vision-модули, embeddings, output head и native MTP, в BF16 или совместимой исходной точности. Размер весов составляет около 80,07 ГБ, формат — MLX safetensors. На Apple M3 Studio измеренная скорость генерации составила 29,37 токена в секунду при отключённом MTP и 28,62 токена в секунду при включённом, поэтому MTP рекомендуется отключать по умолчанию. Для работы требуется runtime с поддержкой архитектуры qwen4_exp и native MTP. Модель распространяется по лицензии Qwen Community License 1.0. В предоставленных данных не приведены подробные результаты исходных оценок, полный перечень поддерживаемых языков и ограничения безопасности; за ними следует обращаться к карточке базовой модели.