I.4Обработка документов и форм

6block/Nex-N2.5-Pro-GGUF — это GGUF-квантизации мультимодальной модели Nex-N2.5-Pro, разработанной nex-agi и преобразованной в формат GGUF с помощью llama.cpp командой 6block. Модель предназначена для генерации и анализа текста, а также для задач понимания изображений при использовании отдельного vision-проектора mmproj. Заявлены поддерживаемые языки английский и китайский. Модель имеет 397 млрд параметров, 60 слоёв в гибридной архитектуре: 45 слоёв Gated DeltaNet с линейным вниманием и 15 полноценных attention-слоёв с GQA. Это MoE-модель: каждый токен направляется к 10 из 512 экспертов и общему эксперту. Контекст составляет 262 144 токена, словарь — 248 320 токенов. Vision-энкодер содержит 27 слоёв, принимает изображения размером до 768 пикселей и использует патчи 16 пикселей. Поддерживаются адаптивный режим рассуждений и его отключение. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно 200,1, 138,9 и 113,2 ГиБ соответственно, каждый в 19 сегментах. IQ4_XS наиболее близок к исходной BF16-версии по заявленным метрикам, Q2_K позиционируется как сбалансированный вариант для CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Основные ограничения — очень большой размер, необходимость загрузить все сегменты, наличие совместимой сборки llama.cpp с поддержкой Qwen3.5-MoE и отдельного vision-проектора для работы с изображениями. Для изображений рекомендуется выделять не менее 1024 image tokens. Модель распространяется по лицензии Apache-2.0. Для запуска требуется llama.cpp; параметры и возможности использования изображений зависят от соответствующих инструментов и шаблона чата модели.

amd/Qwen3.5-397B-A17B-MXFP4 — мультимодальная генеративная модель семейства Qwen, представленная AMD на основе Qwen/Qwen3.5-397B-A17B-FP8. Она предназначена для задач условной генерации текста с обработкой текста, изображений и видео на входе и генерацией текста на выходе. В README указан английский язык. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration и оптимизирована для инференса на AMD MI300, MI350 и MI355 под Linux с ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Для запуска рекомендуются SGLang или vLLM. Экспериментальная конфигурация оценки использовала максимальную длину контекста 262144 токена и распределение по четырём GPU, однако это не подтверждает полный нативный размер контекста модели. Ключевая особенность версии — статическое квантование весов экспертов языковой части и динамическое квантование активаций в формат OCP MXFP4 с помощью AMD-Quark 0.12; визуальные и некоторые другие слои исключены из квантования. На GSM8K модель получила 94,54 против 95,38 у исходной FP8-версии, сохранив 99,12% относительного результата. Ограничения включают зависимость от совместимого оборудования и программного стека AMD, а также ограниченность опубликованной оценки одним бенчмарком. Лицензия — Apache-2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Qwen3.8-27B-NInfer — мультимодальный вариант модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в нативный формат .ninfer для движка NInfer. Артефакт предназначен для генерации текста в режимах с рассуждением и без него, а также для обработки изображений, нескольких изображений, видео и смешанных мультимодальных сообщений. Модель содержит 27 млрд параметров базовой модели и использует groupwise-квантизацию с распределением Q4/Q5/Q6 для текстовой части, а также W8G32_F16S для эмбеддингов и выходной головы. Поддерживаются MTP-спекулятивное декодирование, BF16 и INT8 group-64 KV-кэш, CUDA Graph decode, повторное использование совместимых префиксов и небольшое параллельное пакетное обслуживание. В README указаны текстовый контекст до 262 144 токенов и мультимодальный лимит до 81 920 токенов в проведённых тестах. Сильные стороны модели — поддержка мультимодальных сценариев, высокая точность на AIME 2025 и AIME 2026 — по 96,67%, а также результаты 87,37% на GPQA-Diamond и 82,22% на RealWorldQA. Ограничения связаны с узкой средой запуска: требуется NInfer версии с ревизии 5232055, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее. Артефакт не является чекпойнтом Transformers, Safetensors или GGUF. Лицензия — Apache-2.0.

Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8 — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная сообществом Freaksterz на базе оригинальной модели Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений и текста, а также для задач, где важны высокая скорость инференса и умеренное потребление памяти. В основе используется архитектура Qwen3.8-27B с 27 миллиардами параметров. Квантизация выполнена по схеме W8A8: веса представлены в симметричном INT8 с округлением GPTQ, а активации квантизуются динамически для каждого токена. В процессе применены офлайн-ротация QuaRot-подобного типа, SmoothQuant и GPTQ; отдельные компоненты, включая vision tower, embeddings, lm_head, нормы и модуль MTP для speculative decoding, сохранены в BF16. Модель распространяется в формате compressed-tensors и ориентирована на запуск через vLLM с нативным INT8 tensor-core kernel. Заявленная скорость prefilling составляет около 3500 токенов в секунду на двух RTX 3090 в режиме TP2, а средняя дивергенция относительно BF16-версии измерена на уровне KLD 0,0110. Сильными сторонами являются низкое отклонение от BF16-оригинала среди рассматриваемых INT8 W8A8-вариантов, высокая скорость prefilling и сохранение поддержки speculative decoding благодаря BF16 MTP. Ограничения включают неизбежную потерю точности из-за квантизации, зависимость производительности от совместимого оборудования и программного стека, а также отсутствие в предоставленных данных сведений о языковом охвате и размере контекстного окна. Лицензия — Apache-2.0.

VIDraft/Gemma-3-R1984-12B — мультимодальная модель на архитектуре Gemma 3, дообученная на базе google/gemma-3-12b-pt. Карточка описывает локальную платформу для диалогов, анализа изображений и документов, а также исследовательских запросов с веб-поиском через SERPHouse API. Заявлена обработка изображений, видео и текстовых документов; поиск может включать до 20 результатов с цитированием источников. В карточке указаны около 12 млрд параметров и контекст до 8 000 токенов. Метаданные подтверждают задачу image-text-to-text, поддержку vision и chat, библиотеку Transformers и лицензию Gemma. Для веб-поиска требуется ключ SERPHouse; README рекомендует развёртывание на NVIDIA L40S, но не приводит независимых оценок качества или подробностей обучения. Условия лицензии следует сверять с лицензией Gemma, указанной в метаданных: упоминание MIT для платформы в README не подтверждает лицензию весов модели.

Карточка модели ginipick/Gemma-3-R1984-4B на Hugging Face совпадает с карточкой VIDraft/Gemma-3-R1984-4B, поэтому описание составлено по ней. Gemma3-R1984-4B — мультимодальная модель для диалогов и анализа изображений, дообученная VIDraft на базе Google Gemma 3 4B. В карточке заявлена работа с изображениями, видео и документами, включая PDF, CSV и TXT; метаданные классифицируют модель как image-text-to-text и указывают архитектуру Gemma3ForConditionalGeneration с плотными весами в формате Safetensors. Модель рассчитана примерно на 4 млрд параметров и контекст до 8 000 токенов. Сценарии применения включают визуальные вопросы и ответы, анализ документов, сравнение файлов, диалог и исследовательские запросы с поиском в интернете через SERPHouse API и цитированием найденных источников. Указана поддержка английского, корейского, японского, китайского, испанского, русского, арабского, хинди, индонезийского, французского и немецкого языков. Поиск в интернете требует API-ключа; обработка видео и документов описана как часть платформы и не подтверждена тегом задачи модели. В метаданных указана лицензия Gemma; README дополнительно упоминает MIT для Agentic AI-платформы, поэтому условия для весов следует связывать с лицензией Gemma.

ebircak/gemma-4-31B-it-4bit-W4A16-GPTQ — общественная 4-битная GPTQ-квантизация instruction-tuned мультимодальной модели Google Gemma-4-31B-it, подготовленная пользователем ebircak. Модель предназначена для генерации текста и обработки сценариев vision-language, включая работу с изображениями, диалоговые приложения, вызов инструментов и развертывание на NVIDIA GPU через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и скрытым размером 5376. Текстовый декодер и projector квантизированы в int4 по схеме GPTQ W4A16 с размером группы 128, асимметричным квантованием и активациями FP16/BF16; vision tower на базе SigLIP из 27 слоев сохранена в BF16. Контекстное окно составляет до 262 тысяч токенов. Формат — compressed-tensors, квантизация выполнена с помощью llm-compressor 0.10.0.1. Языки в карточке явно не указаны. Главное преимущество — существенное снижение требований к видеопамяти по сравнению с версией BF16: заявлено около 35 ГБ при полном контексте на NVIDIA RTX PRO 6000 с 96 ГБ VRAM. Модель оптимизирована для vLLM, поддерживает prefix caching, chunked prefill и специализированный парсинг Gemma4 для tool calling. Ограничения включают зависимость от совместимых версий CUDA и vLLM, сохранение vision tower в BF16 и возможное снижение качества из-за 4-битной квантизации; разработчик рекомендует оценивать модель для конкретных задач. Квантизация и базовая модель распространяются по лицензии Apache 2.0.

Granite-4.0-350M-Base — компактная базовая языковая модель IBM Granite Team, обученная с нуля для генерации текста при ограниченных вычислительных ресурсах. Она предназначена для локального и офлайн-применения, в том числе на смартфонах и IoT-устройствах, а также для дообучения под специализированные задачи. Модель имеет плотную decoder-only архитектуру трансформера GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она содержит 352,3 млн параметров, поддерживает контекст до 32 768 токенов и дополнение кода по схеме Fill-in-the-Middle. В карточке указана поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода. Она выпущена под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать предвзятые, ошибочные или проблематичные ответы; для небольших моделей также отмечен риск воспроизведения фрагментов обучающих данных.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Qwen-SEA-LION-v4-32B-IT — плотная языковая модель с архитектурой decoder-only Transformer семейства Qwen3, размещённая Scalejade как копия модели AI Singapore. В ней около 29,7 млрд параметров; исходную Qwen3-32B продолжительно обучали на корпусе SEA-Pile v2, а затем дообучили на инструкциях и применили слияние моделей. Метаданные указывают контекст до 40 960 токенов, тогда как README приводит 32 768 токенов; перед развёртыванием стоит сверить это значение с конфигурацией весов. Модель предназначена для диалогов и следования инструкциям на языках Юго-Восточной Азии, а также для перевода между английским и этими языками, суммаризации, ответов на вопросы, классификации и RAG по региональным материалам. Она поддерживает режим рассуждений Qwen3 и интерфейс вызова инструментов. В продолжительном предобучении использовались бирманский, индонезийский, малайский, филиппинский, тамильский, тайский и вьетнамский; README также предупреждает о неравномерном качестве для одиннадцати заявленных языков. Модель может галлюцинировать, не прошла выравнивание по безопасности и не проверялась на устойчивость к состязательным запросам. Не рекомендуется полагаться на неё без дополнительной проверки в медицинских, юридических и других ответственных сценариях. Репозиторий распространяется по лицензии MIT; Scalejade указывает, что не обучала веса и размещает копию работы команды SEA-LION из AI Singapore.

ALIA-40b-instruct-2605 — инструкционная версия многоязычной языковой модели ALIA, разработанная командой BSC-LT. Это плотная decoder-only модель семейства Llama с 38,3 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Контекст модели — до 163 840 токенов. Модель предназначена для диалога и выполнения текстовых инструкций: она генерирует и суммирует тексты, отвечает на вопросы и переводит. Улучшены следование инструкциям и системным подсказкам, форматирование ответов, многоходовый диалог и работа с длинным контекстом. Постобучение в основном ориентировано на испанский, каталанский, баскский, галисийский и английский языки; качество для других языков не гарантируется. Модель находится в разработке и не прошла этап выравнивания безопасности. Она не поддерживает нативный вызов функций и не предназначена для автономного выполнения задач; сложные рассуждения, математику и код следует проверять. Авторы рекомендуют температуру генерации 0–0,2 без штрафа за повторы. Лицензия — Apache-2.0.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-6bit-MTP — это смешанно-точный квантованный MLX-чекпойнт на базе Qwen/Qwen3.8-27B, преобразованный компанией AutomatosX непосредственно из исходной модели BF16. Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через MLX-LM, а также для нативного выполнения в AX Engine и интеграции с oMLX Lightning MTP. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и 27,36 млрд логических параметров. Основной языковой тракт квантован с использованием AXQuant 1.6.2; заявленный класс хранения — 6 bit, измеренный общий показатель с учётом MTP составляет 6,0001 BPW. Голова multi-token prediction и vision tower сохранены в BF16. Поддерживаются текст и vision-сценарии, аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory. Размер весов составляет около 20,84 ГБ, полный загрузочный объём — около 20,86 ГБ. Сильными сторонами являются сохранение повышенной точности для отдельных компонентов, наличие MTP и vision tower, а также оптимизация под Apple Silicon. При этом стандартный запуск через MLX-LM гарантирует только текстовый inference и может не использовать MTP, vision-компоненты и метаданные AXQuant. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, поэтому фактическую производительность следует проверять в целевой конфигурации. Репозиторий содержит MLX Safetensors и не содержит весов PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

HyperCLOVA X SEED 8B Omni — мультимодальная модель компании NAVER на основе плотного авторегрессионного Transformer с 8 млрд параметров. Она объединяет текстовые, визуальные и речевые представления в общем семантическом пространстве и поддерживает взаимодействие между модальностями в контексте до 32 тыс. токенов. Модель принимает текст, изображения, видео и аудио, а выдаёт текст, изображения и аудио; генерация видео не поддерживается. Модель предназначена для диалога и мультимодальных задач: ответов на вопросы по изображениям и видео, генерации и редактирования изображений, распознавания и перевода речи, синтеза речи, а также обычной генерации текста. В README она описана как корейско-ориентированный этап разработки универсальных мультимодальных моделей HyperCLOVA X. Для инференса NAVER предлагает OmniServe с API, совместимым с OpenAI; приведённая конфигурация запуска требует 4 GPU NVIDIA A100 по 80 ГБ. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

Muse-Glimmer-30B-CRACK-GGUF — мультимодальная модель семейства Muse Glimmer, подготовленная Dealign.ai на основе meta-models/Muse-Glimmer-30B. Это GGUF-квантизации для запуска через llama.cpp. Модель ориентирована на английский и китайский языки, поддерживает работу с текстом и изображениями, рассуждения с регулируемой интенсивностью и вызов инструментов в формате ATEM. Доступны варианты Q8_0 размером 29,6 ГБ, Q4_K_M размером 16,9 ГБ и Q2_K размером 10,7 ГБ; разработчик рекомендует Q4_K_M как сбалансированный вариант. Для обработки изображений требуется дополнительный vision projector mmproj-Muse-Glimmer-30B-f16.gguf размером 3,8 ГБ. В примерах запуска используется контекст 8192 токена. Интенсивность рассуждений можно выбирать между low, medium, high и xhigh, а вызовы инструментов передаются через совместимый с OpenAI интерфейс llama.cpp. Сильными сторонами являются сохранение знаний и показателей MMLU, близких к базовой модели, поддержка мультимодальных сценариев, управляемого рассуждения и инструментов, а также несколько вариантов квантизации для разного объёма памяти. Ограничение модели — существенно сниженные защитные ограничения: поведение отказа удалено, поэтому модель может отвечать на вредоносные и незаконные запросы. Это исследовательский артефакт, требующий ответственного и законного использования. Распространяется по лицензии Apache 2.0 с оговоркой о применении политики использования upstream Muse Glimmer.

Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GPTQ-int4 — квантизированная версия модели Jackrong/Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, основанная на Qwen3.5-35B-A3B. Модель предназначена для генерации текста, задач рассуждения и мультимодального понимания изображений с текстом. Указанные языки — английский и китайский. Это MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активируются для каждого токена; используется 256 экспертов, 8 из которых активны одновременно. Квантование выполнено методом GPTQ в формате INT4 W4A16 с размером группы 128. Vision encoder и MTP-модуль сохранены без квантизации, поэтому модель поддерживает анализ изображений, хотя исходное дообучение было сосредоточено на текстовых задачах рассуждения. Для запуска в INT4 требуется примерно 22 ГБ видеопамяти; в примере конфигурации указан контекст до 4096 токенов. Сильные стороны модели — снижение требований к памяти благодаря INT4-квантизации, сохранение мультимодальных возможностей и высокая вычислительная эффективность MoE-архитектуры. Ограничения включают возможную потерю качества из-за квантизации и отсутствие подробных данных о фактических результатах, тренировочном наборе и полном наборе поддерживаемых возможностей. Модель распространяется по лицензии Apache 2.0.

MuXodious/Qwen3.5-4B-SOMPOA-heresy-v2-MTP — мультимодальная модель на 4 млрд параметров, созданная на основе Qwen3.5-4B. По карточке, её дообучили с помощью Heretic и методов SOMA и MPOA для подавления отказов; также восстановлены веса Multi Token Prediction из базовой модели. Архитектура — плотная Qwen3.5 с языковой моделью и визуальным энкодером; заявлены диалог, понимание изображений и интерфейс вызова инструментов. Модель предназначена для диалога, рассуждений, работы с изображениями и агентных сценариев с инструментами. В карточке базовой модели указана поддержка 201 языка и диалекта, а контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000. Репозиторий содержит веса Safetensors для Transformers; карточка также называет совместимость с vLLM, SGLang и KTransformers. В README сообщается о низкой частоте отказов в использованной авторами проверке, поэтому модель может отвечать на запросы, которые базовая модель отклоняла. Это не гарантирует фактическую точность ответов и может снижать надёжность защитных отказов. Лицензия — Apache-2.0.

Minachist/Qwen3.8-27B-INT6-Mixed-AutoRound — это квантизированный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, разработанный пользователем Minachist. Модель предназначена для запуска через vLLM на системах примерно с 48 ГБ суммарной видеопамяти, включая сценарии с обработкой изображений, полным контекстом и включённым MTP. Модель содержит 64 языковых слоя: 48 слоёв с gated-delta linear attention и 16 слоёв с полноценным attention. Используется смешанная квантизация AutoRound в формате compressed-tensors pack-quantized с эффективной плотностью 7,30 бит на вес: отдельные компоненты работают в INT5, INT6, INT7 или INT8, а часть параметров, включая vision tower, нормы и некоторые проекции, сохранена в BF16. Заявленный максимальный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. По измерениям автора, на тесте WikiText-2 средняя KL-дивергенция относительно BF16-версии составила 0,001980, согласие top-1 предсказаний — 97,905%, а perplexity — 7,9183 против 7,9112 у базовой модели. Это указывает на небольшую потерю качества при существенном сокращении требований к памяти. Ограничение модели — она не загружается в стандартный vLLM: требуются версия с поддержкой 5–8-битных схем, пакет humming-kernels и патч для qwen3_5.py и qwen3_5_mtp.py. В README рекомендована лицензия Apache-2.0.

Qwen3.8-Flash-Next-NVFP4-SSD-Stream — подготовленная для инференса версия RadixArk/Qwen3.8-Flash-Next-NVFP4, созданная garnermccloud для работы с SGLang и расширением sglang-ssd-stream. Модель предназначена для мультимодальных задач image-text-to-text, включая обработку изображений, reasoning, retrieval, работу с инструментами и генерацию текста или кода. Подготовка не включает дообучение, тонкую настройку или повторную квантизацию: изменена только организация хранения данных для обслуживания модели. В основе используется архитектура Qwen/Qwen3.8-Flash-Next. Routed experts применяют ModelOpt NVFP4 W4A4, а attention, shared experts, embeddings, LM head, vision-компоненты и MTP-веса сохранены в BF16; predictive lookup table хранится в FP8. 48-гигабайтная таблица вынесена из оперативной памяти в локальный read-only SSD sidecar объёмом около 51,2 GB, что снижает требования к RAM при загрузке. Заявленный контекст по умолчанию составляет 131 072 токена; в исторических измерениях использовался пул на 262 144 токена. Подготовленный набор данных занимает около 140 GiB. Главное преимущество — возможность запускать модель с существенно меньшим потреблением системной памяти, загружая необходимые данные с SSD во время работы GPU. Производительность зависит от оборудования, профиля и типа нагрузки: измерения на RTX PRO 6000 Blackwell показывают смешанные результаты, поэтому заявленные ускорения нельзя считать универсальными; качество модели отдельно не оценивалось. Решение ориентировано на SGLang и требует совместимого runtime, локального SSD sidecar и соответствующей GPU-конфигурации. Лицензия указана как other; дополнительных условий использования в README не приведено.

Qwen3-VL-8B-Instruct-Unredacted-MAX-FP8 — мультимодальная vision-language модель, опубликованная prithivMLmods и основанная на Qwen3-VL-8B-Instruct-Unredacted-MAX. Это FP8-сжатая версия с архитектурой на 8 млрд параметров, предназначенная для анализа изображений, генерации подробных подписей и рассуждений по сложному визуальному содержимому. В карточке указана поддержка английского языка, а основная модальность описана как image-text-to-text. Модель рассчитана на расширенное визуальное рассуждение, включая анализ художественных, технических, медицинских, исторических, абстрактных и исследовательских материалов. Возможные сценарии применения включают генерацию описаний для датасетов и метаданных, задачи доступности, архивирование визуальных данных, red-teaming, исследование механизмов отказа и творческое повествование. Она поддерживает динамическое разрешение и различные соотношения сторон изображений. Ключевая особенность — квантование весов и активаций в формате FP8 W8A8 с использованием BF16 и F8_E4M3, что снижает потребление VRAM и может повысить производительность инференса при сохранении возможностей исходной модели. Вариант оптимизирован для Hopper и совместимых GPU, однако для обработки изображений высокого разрешения и длинной генерации всё ещё требуется достаточно VRAM и совместимое аппаратное обеспечение. Abliterated fine-tuning уменьшает встроенные отказы, поэтому модель может генерировать чувствительное или спорное содержимое; результаты требуют ответственного и законного использования. Лицензия — Apache-2.0.

comprehend_it-base — англоязычная модель Knowledgator на базе энкодера DeBERTaV3-base, обученная на наборах для вывода на естественном языке и классификации текста. Она предназначена прежде всего для классификации по заданным пользователем категориям в zero-shot режиме: можно передать текст и список меток, не дообучая модель на этих категориях. Также модель применяют для ранжирования результатов поиска и задач извлечения информации, включая распознавание именованных сущностей, извлечение отношений, связывание сущностей и ответы на вопросы. Модель использует архитектуру DeBERTa-v2 для классификации последовательностей, содержит 211,6 млн параметров и принимает контекст до 512 токенов. В карточке заявлено, что на нескольких наборах классификации она превосходила BART-large-mnli в zero-shot сценарии при почти втрое меньшем размере; также приведены результаты для нескольких наборов данных. Доступны веса PyTorch, библиотека Transformers и лицензия Apache-2.0. Модель рассчитана на английский язык. Как энкодер-классификатор, она выдаёт метки и оценки классов, а не генерирует свободный текст. Качество зависит от формулировок текста и кандидатов-меток; контекст ограничен 512 токенами, а README не приводит сравнительных результатов для всех заявленных задач извлечения информации.

Vontra/GLM-5.3-Flash-MLX-4bit-MTP — MLX-конверсия модели GLM-5.3-Flash от Z.ai, подготовленная для Apple Silicon. Это мультимодальная sparse MoE-модель архитектуры glm5_next с поддержкой текста и изображений, рассчитанная на работу с английским и китайским языками. Модель распространяется в формате MLX safetensors и сохраняет оригинальные токенизатор, chat template, мультимодальный процессор и настройки генерации. Модель предназначена для локальной генерации текста и обработки изображений в совместимых окружениях MLX и MLX-VLM. Она использует гибридное линейное и разреженное внимание, manifold-constrained hyper-connections и встроенный блок предсказания следующего токена для speculative decoding (native MTP). Заявленный контекст составляет до 1 048 576 токенов. Квантование выполнено методом weight-only post-training quantization: основные подходящие матрицы переведены в 4-bit с group size 64, тогда как vision encoder, projector, embeddings, output head и часть служебных тензоров сохранены в исходной или совместимой точности. К сильным сторонам относятся мультимодальность, очень длинный контекст, поддержка sparse MoE, оптимизация под Apple Silicon и существенное уменьшение размера весов по сравнению с полноточной моделью. Репозиторий занимает около 181,7 ГБ, поэтому для запуска требуется значительный объём объединённой памяти. Native MTP требует специальной интеграции GLM5 Next в runtime; проверена работа с oMLX 0.6.3rc3, MLX 0.32.0 и MLX-VLM 0.6.3 с соответствующей поддержкой. Старые или стандартные сборки без этой интеграции могут работать только без MTP либо не поддерживать модель. Приведённый тест на Apple M3 Ultra показал около 6,27 токена в секунду при отключённом MTP, но фактическая производительность зависит от нагрузки и окружения. Лицензия — MIT.

LFM2.5-Encoder-230M — разработанный Liquid AI компактный многоязычный двунаправленный энкодер на архитектуре LFM2 с 221,2 млн параметров. Это masked language model с головой заполнения масок, предназначенная прежде всего для дообучения под прикладные задачи обработки текста. Гибридная архитектура чередует блоки коротких gated-свёрток и grouped-query attention; модель доступна в формате safetensors и работает через Transformers с удалённым кодом модели. Энкодер подходит как основа для классификации текста и токенов, извлечения сущностей, поиска и ранжирования, оценки семантического сходства, определения тональности и естественно-языкового вывода. Заявлена поддержка 15 языков, включая русский. README указывает контекст до 8 192 токенов и возможность эффективного запуска на устройстве и в браузере через WebGPU; значение длины контекста в метаданных каталога составляет 128 000 токенов, поэтому фактический рабочий предел следует сверять с используемой конфигурацией модели. Модель ориентирована на низкие требования к памяти и задержке; авторы сообщают о хорошей производительности на длинных последовательностях и приводят сравнения с другими энкодерами. Для перечисленных прикладных задач обычно требуется дообучение: исходная модель не является готовым специализированным классификатором или поисковым ранжировщиком. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

amd/MiniMax-M3-MXFP4 — мультимодальная модель для преобразования текста и изображений в текст, созданная на базе MiniMaxAI/MiniMax-M3 и оптимизированная AMD с использованием AMD-Quark. Архитектура обозначена как MiniMaxM3SparseForConditionalGeneration и включает разреженную MoE-компоненту. Модель предназначена для мультимодального анализа, агентских сценариев, программирования и работы с видео, если соответствующая поддержка реализована используемым программным окружением. Веса и активации квантизированы в формате OCP MXFP4: для весов используется статическая, а для активаций — динамическая квантизация. Модель ориентирована на AMD MI350/MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и запуск через vLLM в Linux. Размер модели, максимальная длина контекста и список поддерживаемых языков в README не указаны. На GSM8K модель получила результат 94,19 против 95,30 у исходной MiniMaxAI/MiniMax-M3, что соответствует восстановлению 98,84% показателя исходной модели. Основные ограничения — зависимость от специализированного оборудования AMD и совместимого программного стека, а также возможная потеря качества из-за MXFP4-квантизации. Лицензия указана как minimax-community; точные условия следует уточнять в файле LICENSE.

Mistral-Crab-DPO — языковая модель для генерации текста, разработанная Юньцзя Ци, Хао Пэном, Сяочжи Ваном, Бинь Сюем, Лэй Хоу и Цзюаньцзы Ли. Она дообучена на базе Mistral-7B-v0.3 методом DPO и предназначена для выполнения сложных инструкций с ограничениями по формату, длине и другим условиям. Обучение использует набор CRAB, созданный методом обратного преобразования ограничений: к качественным парам «инструкция — ответ» добавлялись ограничения, которым уже соответствовали ответы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Основной язык — английский. Карточка сообщает об улучшении следования сложным инструкциям и приводит оценку на соответствующих бенчмарках, но не раскрывает здесь полные результаты для этой версии модели. Лицензия — Apache-2.0.

Это квантованная мультимодальная модель Qwen3.8-27B, разработанная на основе Qwen/Qwen3.8-27B и аблитерированной версии huihui-ai/Huihui-Qwen3.8-27B-abliterated. Релиз lued сохраняет архитектуру и возможности исходной модели, изменяя числовое представление весов. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для запуска через vLLM на видеокартах архитектуры Ampere, в частности в конфигурации с двумя RTX 3090. Используется квантование W8A16: веса основных матричных умножений представлены в INT8, а активации — в FP16 или BF16. Применена симметричная data-free RTN-квантизация с размером группы 128; квантировано 400 GEMM-операций. В BF16 сохранены vision tower, lm_head, MTP-компоненты и рекуррентные GDN-gates. Модель поддерживает vision-компоненты, native context, thinking controls и speculative decoding через MTP, однако точный размер контекста, список языков и полные архитектурные характеристики в карточке не указаны. По измерениям на коротком наборе из 467 позиций средний KLD относительно собственного BF16-учителя составил 0,000705, а совпадение top-1 предсказаний — 98,72%; эти показатели характеризуют числовое отклонение после квантизации, но не заменяют полноценную оценку качества генерации, программирования, инструментального использования или длинного контекста. Аблитерация унаследована от базовой модели и направлена на удаление отказов; исходная карточка описывает этот метод как экспериментальный и proof-of-concept. Размер файлов весов составляет 29,44 GiB. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OrcaRouter-GSQ-RCO-IQ3_XXS-Uncensored — это 3-битная GGUF-квантизация базовой модели Qwen3.8-27B, подготовленная RentedNoodle на основе uncensored-чекпойнта orcarouter/Qwen3.8-27B-Uncensored. Это не новая дообученная модель: снижение отказов унаследовано от OrcaRouter, а квантизация выполнена с использованием методологии GSQ/RCO, разработанной ISTA-DASLab. Модель распространяется под лицензией Apache-2.0. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с изображениями. Поддерживаются английский и китайский языки. Архитектурное окно контекста составляет 262 тысячи токенов, однако поставляемый профиль рассчитан на 32 тысячи токенов. Модель имеет размер около 9,75 GiB, использует квантизацию IQ3_XXS примерно на 3,06 бит на вес, а MTP draft head сохранён в формате Q6_K для speculative decoding. Для работы с изображениями требуются отдельные projector-файлы. Сильные стороны модели — возможность запуска на одной видеокарте с 16 ГБ VRAM, сохранённая поддержка MTP, хорошие результаты на извлечении данных из длинного контекста, GPQA-Diamond и TruthfulQA, а также отсутствие избыточных отказов в тесте XSTest. Ограничения включают потери качества, типичные для сильной 3-битной квантизации, неполную надёжность вызова инструментов и зависимость intended tool-use и reasoning-поведения от специального шаблона froggeric-qwen3.8-tool-use.jinja. Результаты тестов зависят от конфигурации llama.cpp, параметров запуска и используемого шаблона; заявленная «uncensored» направленность не гарантирует универсальное выполнение любых запросов.

Seed 1.6 — универсальная мультимодальная модель команды ByteDance Seed. Она поддерживает адаптивное углублённое рассуждение и контекст длиной 256K токенов. Модель предназначена для задач, в которых требуется обрабатывать мультимодальные данные и формировать ответы с учётом длинного контекста. Данных о конкретных модальностях, размерах модели, языках и лицензии в доступных источниках нет.

Swift-Qwen3.8-27B-Genesis-F16-GGUF — мультимодальная модель на базе Swift-Qwen3.8-27B, опубликованная LuffyTheFox. Автор применил к весам метод Genesis для численной коррекции тензоров; модель распространяется в формате GGUF F16 и рассчитана на запуск в llama.cpp, LM Studio, koboldcpp и других совместимых средах. Лицензия — Apache-2.0. Модель предназначена для диалогов, анализа изображений и видео, а также задач общего назначения, включая программирование. README указывает плотную архитектуру на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели и контекстом 262 144 токена; заявлена возможность расширения контекста до 1 000 000 токенов при поддержке со стороны среды запуска. Указана поддержка текста, изображений и видео, однако для работы с изображениями нужен отдельный файл mmproj. Автор описывает Genesis как постобработку тензоров без переобучения и заявляет, что она снижает шум весов, сохраняя выученные знания. Эти заявления не сопровождаются в карточке независимыми результатами оценки. Для работы с шаблоном диалога рекомендуется llama.cpp с флагом --jinja; README также советует использовать контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель помечена как uncensored; качество и поведение на разных задачах могут отличаться от заявлений автора.

unsloth/gemma-3-1b-pt-unsloth-bnb-4bit — 4-битная квантованная версия предобученной модели google/gemma-3-1b-pt, подготовленная Unsloth. Базовая модель разработана Google DeepMind в рамках семейства Gemma, созданного на основе технологий Gemini. Это модель с открытыми весами, предназначенная для локального и ресурсосберегающего развертывания. Модель ориентирована на генерацию текста, ответы на вопросы, суммаризацию, рассуждения и понимание изображений. Она принимает текстовые и графические входные данные и генерирует текст. Для версии 1B заявлено контекстное окно до 32K токенов, максимальный объём вывода — 8192 токена. Семейство Gemma 3 поддерживает более 140 языков; в карточке этой версии явно указан английский язык. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битной квантизации, что упрощает запуск на ноутбуках, настольных компьютерах и другой ограниченной по ресурсам инфраструктуре. При этом это именно предобученная, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения команд может потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация также может немного снижать точность по сравнению с полноразмерной версией, однако README заявляет о применении селективной квантизации Unsloth Dynamic Quants для улучшения сохранения качества. Использование регулируется лицензией и условиями Gemma; перед применением необходимо ознакомиться с соответствующими Terms of Use.