I.4Обработка документов и форм

Карточка модели google/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Gemma 3 12B IT QAT — мультимодальная инструкционно дообученная модель из семейства Gemma, разработанная Google DeepMind. Она принимает текст и изображения, а на выходе генерирует текст. Модель создана на основе технологий, использованных в Gemini, и предназначена для развертывания в локальной инфраструктуре, на настольных компьютерах, ноутбуках и в облачных средах с ограниченными ресурсами. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, генерации и анализа текста, а также для понимания изображений и извлечения визуальной информации. Она поддерживает более 140 языков, имеет контекстное окно до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Версия 12B обучена с использованием Quantization Aware Training (QAT), что должно помогать сохранять качество, близкое к bfloat16, при снижении требований к памяти после квантования. При этом указанный в репозитории checkpoint является неквантованным: для получения варианта Q4_0 его необходимо дополнительно квантовать выбранным инструментом. Ограничения включают зависимость качества от языка, содержания запроса и изображения, а также обычные риски ошибок и неточностей генеративных моделей. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии.

NeuralMetrics/Qwen3-Embedding-0.6B — размещённая Neural Metrics копия модели Qwen3-Embedding-0.6B, разработанной командой Qwen. Согласно карточке, веса и поведение совпадают с исходной моделью. Это плотная модель семейства Qwen3 с 507,6 млн параметров, предназначенная для преобразования текста в эмбеддинги; она поддерживает контекст до 32 768 токенов и выходные векторы размером от 32 до 1024 измерений. Модель подходит для семантического поиска по документам, пунктам договоров, строкам и полям, поиска по коду, выявления похожих текстов, классификации и кластеризации. Она поддерживает более 100 языков, включая возможности межъязыкового поиска, и принимает инструкции, позволяющие настроить эмбеддинги под задачу. Векторы можно использовать в системах поиска и маршрутизации документов. Ограничения: это модель эмбеддингов, поэтому для поиска нужен отдельный индекс векторов и компонент, который сопоставляет запросы с документами. Для использования с Transformers требуется версия 4.51.0 или новее; карточка рекомендует подбирать инструкции под сценарий, поскольку их отсутствие может снизить качество поиска. Лицензия — Apache-2.0.

Muse Spark 1.1 — мультимодальная модель рассуждения от Meta, предназначенная для агентных задач. Она принимает текст, изображения, видео, аудио и PDF-документы и формирует текстовые ответы. Для модели заявлено контекстное окно в 1 млн токенов, что позволяет работать с длинными документами и мультимодальными материалами. Данных о лицензии и дополнительных ограничениях в предоставленных источниках нет.

RedHatAI/Qwen3.5-9B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе модели Qwen от Qwen. Она принимает текст и изображения, а генерирует текст; модель предназначена для диалоговых приложений, анализа визуальной информации, выполнения инструкций и задач рассуждения. Для работы рекомендуется использовать vLLM, поддерживаются мультимодальный и текстовый режимы. Модель содержит около 9 млрд параметров и использует квантование весов INT4 по схеме W4A16 при сохранении исходной точности активаций. Квантируются линейные операторы в трансформерных блоках, тогда как vision encoder, токенизаторные embeddings и linear attention layers остаются в BF16. Размер на диске составляет около 11 ГБ против 19,3 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена максимальная длина контекста 262144 токена. К сильным сторонам относятся существенное сокращение размера и возможность эффективного инференса при сохранении близкой к исходной точности: на опубликованных тестах результаты квантованной версии составили 97,9–100,1% от показателей базовой модели на задачах следования инструкциям. Ограничения связаны с частичным, а не полным квантованием, зависимостью от совместимого стека vLLM и отсутствием в представленном описании сведений о поддерживаемых языках и подробных характеристиках архитектуры. Модель распространяется по лицензии Apache-2.0.

Granite-3.1-2B-Base — базовая языковая модель команды Granite компании IBM для генерации и преобразования текста. Она предназначена для суммаризации, классификации, извлечения сведений, ответов на вопросы и других задач с длинным контекстом; также может служить основой для дообучения под специализированные сценарии. Модель построена на плотной decoder-only архитектуре Transformer с 2,5 млрд параметров. В ней используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Контекст увеличен до 131 072 токенов посредством дополнительного обучения на длинных последовательностях. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment; возможны предвзятые, ошибочные или небезопасные ответы, а также воспроизведение фрагментов обучающих данных. Выпущена под лицензией Apache 2.0.

haLLAwa3 — объединённая языковая модель AbacusResearch на архитектуре Mistral с 7,1 млрд параметров. Она создана методом слияния mergekit моделей openchat/openchat-3.5-0106 и machinists/Mistral-7B-SQL; в конфигурации указаны метод slerp и точность bfloat16. Модель предназначена для генерации текста и диалоговых ответов, в том числе для задач, где нужны краткие прямые ответы, понимание документов и работа с SQL. Контекст модели составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 71,34, включая 67,83 на AI2 Reasoning Challenge и 87,02 на HellaSwag; эти показатели относятся к указанным тестам и не гарантируют точность в конкретном применении. Лицензия — Apache-2.0.

gaunernst/gemma-3-4b-it-int4-awq — это 4-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Данный репозиторий содержит QAT INT4-чекпойнт из Flax, преобразованный в формат Hugging Face и AWQ для удобства использования; при этом квантование методом AWQ для исходного чекпойнта не применялось. Модель предназначена для диалоговых и прикладных задач: ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, обрабатывает изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128 000 токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Ключевые преимущества — сравнительно компактный размер, instruction-tuned поведение, мультимодальность и INT4-представление, потенциально упрощающее запуск на ограниченных ресурсах, включая локальные компьютеры и собственную облачную инфраструктуру. Ограничения включают зависимость качества от языка, задачи и входных изображений, а также необходимость учитывать особенности конвертированного формата и совместимость с поддерживаемыми инструментами. Использование регулируется лицензией Gemma; доступ к исходной модели на Hugging Face требует принятия условий использования Google.

leonsarmiento/Qwen3.8-27B-3bit-mlx — мультимодальная модель VLM, разработанная на основе Qwen3.8-27B от Qwen и конвертированная автором в формат MLX с помощью mlx-vlm. Она предназначена для работы с текстом и изображениями, включая диалоговые, аналитические и программные сценарии. Модель поддерживает контекст до 262 тысяч токенов и рассчитана на запуск в экосистеме MLX, в частности через mlx-vlm, oMLX и LM Studio. Архитектура представляет собой плотную гибридную модель с 64 слоями: 48 используют линейное внимание, а 16 — полное внимание. Размер модели — 27B параметров. Применена смешанная квантизация: большинство языковых слоёв сжаты до 3 бит, эмбеддинги и lm_head — до 4 бит, а vision tower сохранён с 8-битной точностью. Объём модели составляет около 12,71 ГБ, пиковое потребление памяти в заявленном тесте — 15,61 ГБ. Модель поддерживает режимы с рассуждением и без него; по умолчанию в этой сборке reasoning_effort установлен на low, что сокращает задержку и длину рассуждений. Сильными сторонами являются поддержка изображений, большой контекст, сниженное потребление памяти и более высокая скорость декодирования по сравнению с равномерной 4-битной версией при сопоставимом качестве на приведённых тестах. Ограничения включают зависимость от MLX-совместимого программного обеспечения и аппаратной конфигурации, а также компромисс между качеством, скоростью и глубиной рассуждений при 3-битной квантизации. Лицензия — Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

Карточка модели scalejade/qwen-sea-lion-v4.5-27b-it на Hugging Face совпадает с карточкой aisingapore/Qwen-SEA-LION-v4.5-27B-IT, поэтому описание составлено по ней. Qwen-SEA-LION-v4.5-27B-IT — мультимодальная инструктивная модель AI Singapore для языков Юго-Восточной Азии, дообученная на основе Qwen3.6-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Linear и Full Attention и визуальным энкодером; она принимает текст и изображения и генерирует текст. Контекстное окно составляет 262 тыс. токенов. Модель прошла постобучение с дистилляцией и слиянием моделей на наборе SEA-Instruct-2602. Модель предназначена для многоязычного диалога, ответов на вопросы, перевода, суммаризации, рассуждений и работы с изображениями. В карточке заявлена поддержка английского, бирманского, индонезийского, филиппинского, малайского, тамильского, тайского и вьетнамского языков; метаданные также указывают китайский. Доступны интерфейсы чата и вызова инструментов. Модель распространяется по лицензии MIT. Разработчик предупреждает, что модель может галлюцинировать, давать нерелевантные или непоследовательные ответы и не проверялась на устойчивость к состязательным запросам. Она не проходила выравнивание по безопасности, поэтому перед использованием следует самостоятельно оценить риски и при необходимости провести дополнительную настройку.

Qwen-SEA-LION-v4.5-27B-IT — мультимодальная инструктивная модель AI Singapore для языков Юго-Восточной Азии, дообученная на основе Qwen3.6-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Linear и Full Attention и визуальным энкодером; она принимает текст и изображения и генерирует текст. Контекстное окно составляет 262 тыс. токенов. Модель прошла постобучение с дистилляцией и слиянием моделей на наборе SEA-Instruct-2602. Модель предназначена для многоязычного диалога, ответов на вопросы, перевода, суммаризации, рассуждений и работы с изображениями. В карточке заявлена поддержка английского, бирманского, индонезийского, филиппинского, малайского, тамильского, тайского и вьетнамского языков; метаданные также указывают китайский. Доступны интерфейсы чата и вызова инструментов. Модель распространяется по лицензии MIT. Разработчик предупреждает, что модель может галлюцинировать, давать нерелевантные или непоследовательные ответы и не проверялась на устойчивость к состязательным запросам. Она не проходила выравнивание по безопасности, поэтому перед использованием следует самостоятельно оценить риски и при необходимости провести дополнительную настройку.

SuperQwen3.8-27b-abliterated-GGUF — это квантованная сборка модели SuperQwen3.8-27b-abliterated, разработанная Jiunsong для запуска через llama.cpp в формате GGUF. Модель предназначена для генерации и анализа текста, рассуждений, вызова инструментов и работы с изображениями; мультимодальность обеспечивается отдельным vision-проектором. Заявлены английский и корейский языки. Основная модель использует квантование Q4_K_M с importance matrix и занимает около 15,41 GiB; полный комплект с MTP-модулем и vision-проектором — около 17,56 GiB. Доступен native MTP draft для speculative decoding с профилем K=6, а заявленное окно контекста составляет 262 043 токена. Vision-проектор поставляется отдельно, поэтому текстовый запуск может обходиться без него. В README также указаны измеренная скорость около 40,1 токена в секунду на одном DGX Spark и успешные проверки вызова инструментов, обработки изображений, рассуждений и извлечения данных из длинного контекста. К сильным сторонам относятся большой контекст, поддержка мультимодальности, инструментов и ускоренного декодирования, а также компактность Q4-квантизации. Ограничения включают зависимость производительности и доступного контекста от аппаратуры и настроек llama.cpp; проверка на границе окна не гарантирует одинаковую точность для всех задач. Модель позиционируется как abliterated: измеренная способность отказывать на вредоносные запросы была существенно снижена, поэтому для безопасного применения необходимы дополнительные меры контроля. Лицензия — Apache-2.0.

RedHatAI/Qwen3.5-4B-FP8-dynamic — мультимодальная модель RedHatAI, созданная на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для диалогов, анализа изображений, ответов на вопросы, следования инструкциям и решения задач рассуждения. Указанная конфигурация рассчитана на инференс через vLLM и поддерживает текстовый режим с пониженным потреблением памяти. Модель использует архитектуру Qwen/Qwen3.5-4B и контекст до 262 144 токенов при развертывании с рекомендованными параметрами. Веса и активации линейных операторов внутри трансформерных блоков динамически квантизированы в FP8; для активаций применяется масштабирование на уровне тензора без калибровочных данных. Размер на диске составляет около 8,0 ГБ вместо 9,3 ГБ у версии BF16, что уменьшает требования к памяти примерно на 14%. Языки в README не указаны. По опубликованным оценкам, квантизация в целом сохраняет качество базовой модели: результаты на GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond близки к показателям исходной Qwen/Qwen3.5-4B. Ограничения включают отсутствие подробных сведений о языковой поддержке и аппаратных требованиях; качество также может зависеть от поддержки FP8 и используемого рантайма. Модель распространяется по лицензии Apache-2.0.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.8-27B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.8-27B, разработанная Avesed. Это плотная гибридная vision-language-модель с линейным механизмом внимания GatedDeltaNet, периодическими слоями полного внимания, встроенной vision-башней и MTP-головой для speculative decoding. Модель поддерживает английский и китайский языки, а также обработку изображений и текста; точный размер контекста в README не указан. Модель предназначена для генерации и анализа текста, рассуждений, решения математических задач, перевода, двуязычных сценариев и задач с изображениями. Квантизация INT8 применяется к весам и активациям по схеме W8A8: используются симметричные INT8-веса и динамические INT8-активации, тогда как наиболее чувствительные к качеству компоненты, включая embeddings, lm_head, vision tower и MTP head, сохранены в bf16. Объём модели составляет около 30 ГБ; для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallelism. Сильная сторона сборки — высокая скорость prefill: на двух RTX 3090 зафиксировано около 4408 токенов/с против 2276 токенов/с у INT4-сборки, при этом доступно speculative decoding через MTP. Скорость decode ниже, около 73 токенов/с, поскольку INT8 требует больше пропускной способности памяти. На GSM8K модель показала 96,8% на выборке из 250 задач; также проверены англо-китайская генерация и перевод, работа vision-пути и reasoning-параметров. MMLU-Pro не тестировалась. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска через vLLM.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

Apertus-v1.5-70B — мультимодальная языковая модель на 70 млрд параметров, разработанная Swiss AI. Это decoder-only Transformer с функцией активации xIELU; модель создана продолжением предобучения Apertus 1.0 на мультимодальных данных и дополнительно обучена следовать инструкциям и работать с инструментами. Она принимает текст, изображения и аудио и генерирует текст, поддерживает много языков и контекст до 262 144 токенов. Для задач рассуждения можно включить режим thinking. Модель предназначена для диалогов, ответов на вопросы по изображениям и аудио, работы с длинными контекстами и интеграции с внешними инструментами. Заявлены открытые веса, данные и сведения о процессе обучения. Лицензия — Apache-2.0. Генерируемые ответы могут содержать фактические ошибки, быть логически непоследовательными или отражать смещения обучающих данных; важную информацию следует проверять. Для запуска с Transformers требуется ветка разработчика, поскольку интеграция ещё не вошла в выпущенную upstream-версию.

Granite-3.0-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и преобразования текста в текст. Это плотный авторегрессионный трансформер с архитектурой decoder-only, реализованный как GraniteForCausalLM; модель содержит 8,2 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Она обучена с нуля в два этапа на 10 трлн токенов разнородных данных и затем на 2 трлн токенов отобранных данных. Контекст модели составляет 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, а также как базовая точка для дообучения под специализированные сценарии. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание по требованиям безопасности и может выдавать проблемные ответы, предвзятый или недостоверный контент; возможны галлюцинации и воспроизведение фрагментов обучающих данных. Результаты требуют проверки, особенно в сценариях с высокими последствиями.

IsValorum/Nex-N2.5-mini-APEX-I-MiniPlus-GGUF — это квантизированная GGUF-версия модели Nex-N2.5-mini, разработанной Nex-AGI и дополнительно оптимизированной IsValorum. Модель основана на архитектуре qwen35moe с 35,1 млрд параметров и использует многомодельную экспертную архитектуру MoE. В комплект входят основная модель размером около 14,56 ГБ с квантизацией 3,36 BPW и отдельный vision-проектор mmproj в формате Q8_0 размером около 610 МБ. Модель предназначена для рассуждений, вызова функций и инструментов, автономного взаимодействия с компьютером, обработки изображений и анализа графического интерфейса. Заявлены мультимодальные возможности, высокоточное визуальное сопоставление и поддержка высокоразрешённых изображений. В README перечислена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Также заявлена работа с контекстом до 256K токенов, однако подробные параметры этой поддержки в представленном фрагменте не приведены. Главные особенности квантизации — сохранение выходного слоя в Q6_K, маршрутизаторов экспертов в F32 и использование разных уровней точности для внимания и экспертных блоков. Это должно повышать стабильность синтаксиса, маршрутизации экспертов и рассуждений по сравнению с более агрессивными низкобитными вариантами, сохраняя умеренные требования к памяти и производительность на CPU. Ограничения связаны с потерями, неизбежными для квантизированной модели, потребностью примерно в 14 ГБ памяти для основной модели и тем, что это предыдущая, или legacy, версия MiniPlus. Для использования требуется совместимый рантайм GGUF, например llama.cpp. Лицензия — Apache-2.0.

philbert440/Qwen3.8-27B-NVFP4 — это 4-битная NVFP4-квантизованная версия плотной мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для работы с текстом и изображениями, включая задачи рассуждения, ответов на вопросы, анализа визуальной информации и генерации текста. Режим рассуждений включён по умолчанию, а визуальная часть модели и голова MTP для спекулятивного декодирования сохранены. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв: 16 слоёв с полноценным вниманием и 48 слоёв GatedDeltaNet с линейным вниманием. Основная часть весов представлена в формате NVFP4 E2M1 с групповым масштабированием FP8, при этом отдельные чувствительные компоненты, эмбеддинги, выходная голова, vision tower и MTP-head сохранены в BF16. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Доступный размер файлов модели — около 25,2 ГБ. Главное преимущество этой сборки — оптимизация под инференс на видеокартах NVIDIA V100: она рассчитана на запуск на двух V100 с 32 ГБ памяти через 1Cat-vLLM и, согласно приведённым измерениям, обеспечивает около 42–47 токенов в секунду в однопоточном режиме рассуждений. К ограничениям относятся зависимость от совместимого стека 1Cat-vLLM и особенности поддержки аппаратных платформ; заявленные показатели получены на конкретной конфигурации и могут отличаться в других условиях. Модель распространяется по лицензии Apache-2.0.

t-firefly выпустил сборку Qwen3.8-27B для работы на ускорителе Rockchip RK1828 через LlamaPi. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; исходную модель разработала команда Qwen. Она предназначена для диалога, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Модель принимает изображения и видео, включая документы и STEM-диаграммы; в исходной карточке заявлено понимание видео длительностью до часа. Режим рассуждения включён по умолчанию, его глубину можно настраивать. Репозиторий содержит GGUF и safetensors и помечен как совместимый с LlamaPi. Лицензия — Apache-2.0. Для запуска через LlamaPi требуется соответствующая среда на RK1828; практическое качество и поддержка конкретных входных форматов зависят от реализации.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

ZOZ-Reasoning-Master-3B — компактная языковая модель на 3,09 млрд параметров, разработанная z51722369 на архитектуре Qwen2 и дообученная для работы в роли диалогового агента с инструментами. В карточке описан трёхэтапный процесс обучения: настройка вызова функций и соблюдения схем, дообучение на задачах поиска и рассуждения в длинном контексте, затем диалоговое выравнивание на Magpie-Pro. Указанная в README базовая модель — Qwen2.5-3B-Instruct; метаданные связывают модель с z51722369/ZOZ-Function-Master-3B-LongContext. Модель предназначена для локальных RAG-систем, извлечения данных из документов и многошаговых диалогов, а также для маршрутизации запросов и вызова API или вебхуков. Она принимает текст, поддерживает контекст до 32 768 токенов и выдаёт текст, включая структурированные ответы и вызовы инструментов. README сообщает, что поставляются объединённые веса FP16; лицензия — Apache-2.0. Среди ограничений автор отмечает, что модель на 3B параметров уступает крупным моделям в энциклопедических знаниях и лучше работает, когда ответ опирается на предоставленный контекст или инструменты. Хотя размер контекста составляет 32K токенов, для баланса скорости и памяти в README рекомендованы последовательности длиной 1 024–4 096 токенов.

Это 12-миллиардная instruction-tuned vision-language модель семейства Gemma 4, разработанная Google DeepMind и представленная в GGUF-формате пользователем prithivMLmods. Модель предназначена для задач генерации и понимания текста, анализа изображений и аудио, мультимодального диалога, вызова функций и сценариев, требующих configurable thinking/reasoning mode. Она совместима с llama.cpp и ориентирована на локальный запуск, исследовательские задачи и последующую пользовательскую компиляцию. Модель использует encoder-free архитектуру, проецирующую патчи изображений и аудиосигналы непосредственно в пространство эмбеддингов языковой модели. Она поддерживает текст, изображения и аудио, контекст до 256K токенов и более 140 языков. В архитектуре применяется гибридное внимание с чередованием локального sliding-window и глобального внимания. QAT-оптимизация призвана снизить требования к памяти и сохранить качество, близкое к bfloat16; доступны варианты от Q2_K до Q8_0, а также BF16 и F16. Указанные ограничения — большой размер высокоточных файлов и необходимость совместимого мультимодального проектора для работы с изображениями и аудио. Модель и файлы распространяются по лицензии Apache-2.0.

EnlistedGhost/Ministral-3-8B-Reasoning-2512-GGUF — это конвертированная и квантованная версия Ministral-3-8B-Reasoning-2512-BF16, первоначально разработанной MistralAI. Модель распространяется в формате GGUF и предназначена для запуска через Ollama и llama.cpp. Модель ориентирована на диалоговые задачи, рассуждения и работу с текстом и изображениями. Она поддерживает мультимодальный сценарий image-text-to-text, включая чтение изображений, а также многоязычную работу с английским, французским, испанским, немецким, итальянским, португальским, нидерландским, китайским, японским, корейским, арабским и русским языками. Заявлен размер 8B параметров; точная длина контекста базовой модели не указана, но шаблон чата предусматривает скользящее окно примерно из 46 взаимодействий. К сильным сторонам относятся совместимость с Ollama и llama.cpp, наличие vision-проекторов для мультимодальной обработки и несколько вариантов квантования, позволяющих выбирать компромисс между качеством и требованиями к ресурсам. Ограничением является отмеченная автором проблема с шаблоном чата: при загрузке с Hugging Face он может некорректно активировать теги рассуждений. Модель выпущена под лицензией Apache-2.0.

Qwen3.5-122B-A10B-NVFP4-Full-GB10 — мультимодальная квантованная версия модели Qwen/Qwen3.5-122B-A10B. Квантование выполнено с помощью llm-compressor по схеме NVFP4 W4A4: линейные слои, включая lm_head, используют 4-битные веса, а vision encoder сохранён в BF16. Модель предназначена для запуска и вывода на NVIDIA DGX Spark с чипом GB10 и обслуживается через vLLM при использовании специальной поддержки для NVFP4 lm_head. Архитектура включает 48 слоёв гибридного внимания, из которых 36 используют GDN/Gated-DeltaNet, а 12 — полноценное внимание, 256 маршрутизируемых экспертов и один общий эксперт на слой; активируются 8 экспертов. Размер скрытого представления — 3072, словарь содержит 248 320 токенов, заявленный контекст — до 262K токенов. Модель поддерживает обработку текста и изображений, однако языки в README не указаны. На DGX Spark заявлена скорость последовательной генерации около 33–35 токенов в секунду. Главное преимущество модели — максимальная скорость декодирования среди описанных вариантов и сниженные требования к памяти: размер контрольной точки составляет около 66 ГБ. Ограничением является небольшое ухудшение качества по сравнению с вариантом FP8Dense, особенно в понимании и передаче нюансов при длительном использовании; 4-битные активации и квантованный lm_head слегка уплощают распределение выходов. В контрольной точке отсутствуют веса MTP, поэтому спекулятивное декодирование недоступно. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3-1b-it-unsloth-bnb-4bit — инструкцияно дообученная и 4-битно квантованная версия Gemma 3 1B от Google DeepMind, подготовленная Unsloth. Модель имеет открытые веса и предназначена для генерации текста по инструкциям, включая ответы на вопросы, суммаризацию, рассуждения и анализ изображений. В метаданных указано, что основной язык — английский, при этом семейство Gemma 3 поддерживает более 140 языков. Модель принимает текст и изображения, а на выходе генерирует текст. Для версии 1B заявлено контекстное окно до 32 000 токенов и максимальный объём генерируемого вывода до 8192 токенов; изображения нормализуются до 896×896 пикселей и представляются как 256 токенов каждое. Ключевая особенность данного варианта — 4-битная квантование в формате BNB, уменьшающая требования к памяти и упрощающая локальное развёртывание, однако по сравнению с полноразмерными версиями это может ограничивать точность. Модель подходит для запуска на устройствах и инфраструктуре с ограниченными ресурсами, а также для дальнейшей тонкой настройки средствами Transformers и Unsloth. Использование регулируется лицензией Gemma и соответствующими условиями Google; перед применением необходимо ознакомиться с Terms of Use.

gaunernst/gemma-3-27b-it-int4-awq — конвертированная в формат Hugging Face и AWQ модель Gemma 3 27B Instruction-tuned, разработанная Google DeepMind. Это QAT INT4-чекпойнт из Flax, первоначально полученный из Kaggle; в репозитории указано, что AWQ не применялся для самой квантизации. Модель предназначена для генерации текста и понимания изображений по текстовым и визуальным запросам, включая ответы на вопросы, суммаризацию, рассуждения и описание содержимого изображений. Модель имеет 27 млрд параметров, поддерживает текстовый и графический ввод и генерирует текст. Для изображений используется нормализация до 896×896 пикселей с кодированием в 256 токенов на изображение. Контекстное окно составляет 128 000 токенов, максимальный заявленный объём вывода — 8192 токена. Gemma 3 поддерживает более 140 языков и рассчитана на развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, хотя 27B-модель и мультимодальный режим требуют значительных вычислительных ресурсов. К сильным сторонам относятся мультимодальность, большое контекстное окно, многоязычность и снижение требований к памяти благодаря INT4-квантизации. Ограничения включают возможные потери качества по сравнению с полноразмерной моделью из-за квантизации, а также необходимость совместимого программного окружения и достаточных аппаратных ресурсов. Для использования требуется принять условия лицензии Google Gemma на Hugging Face; в карточке указана лицензия gemma.

Granite-4.0-H-350M-Base — компактная базовая языковая модель IBM Granite Team с архитектурой decoder-only: плотный трансформер с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 278,4 млн параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Она обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста и может служить основой для суммаризации, классификации и извлечения информации, ответов на вопросы, а также автодополнения кода, включая Fill-in-the-Middle. Компактный размер рассчитан на сценарии с ограниченными ресурсами, в том числе локальное офлайн-развёртывание на мобильных устройствах и IoT-оборудовании. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment и может генерировать предвзятые, недостоверные или проблемные ответы; для небольшой модели также отмечен риск воспроизведения фрагментов обучающих данных. Лицензия Apache 2.0.