I.11Классификация, ранжирование и сопоставление

muranAI/gemma-3n-E4B-it-GGUF — коллекция GGUF-квантизованных версий instruction-tuned модели Gemma 3n E4B IT. Базовая модель разработана Google, а muranAI подготовила варианты для эффективного запуска с использованием llama.cpp и Ollama. Модель предназначена для диалоговых приложений, генерации текста, ответов на вопросы, программирования и других задач общего назначения. Архитектура — Gemma 3n с эффективным объёмом около 4 миллиардов параметров, контекстным окном 32 768 токенов и словарём размером 256 000 токенов. Заявлена многоязычная поддержка более 140 языков. Доступны варианты квантования от F16 и Q8_0 до Q2_K размером примерно от 2,6 до 13 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Модель оптимизирована для работы на обычных компьютерах и периферийных устройствах; поддерживаются CPU и совместимые GPU через llama.cpp или Ollama. Сильные стороны модели — instruction tuning для диалогов, расширенный контекст, многоязычность и широкий выбор степеней квантования. К ограничениям относятся потенциальная потеря качества в более агрессивно квантованных вариантах и зависимость производительности от оборудования и версии программного обеспечения. В README приведены ориентировочные результаты исходной модели на ряде бенчмарков, но они не обязательно отражают показатели каждой квантизованной версии. Распространение осуществляется по лицензии Gemma.

AEON-7/Gemma-4-26B-A4B-it-Uncensored-NVFP4 — инструкцияная мультимодальная модель семейства Gemma 4, разработанная AEON-7 на основе TrevorJS/gemma-4-26B-A4B-it-uncensored. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев, рассуждений, вызова инструментов и обработки изображений вместе с текстом. Заявлена поддержка английского языка. Архитектура — разреженная Mixture-of-Experts: 26 млрд параметров всего и около 4 млрд активных параметров. Веса квантизованы в NVFP4, используется формат safetensors. Для развёртывания предусмотрена интеграция с vLLM и OpenAI-совместимым API; в документации указана конфигурация с контекстом до 262 144 токенов, chunked prefill, prefix caching и speculative decoding через DFlash. Модель ориентирована на GPU-платформы NVIDIA Grace Blackwell, включая DGX Spark/GB10, а также на локальное или периферийное развёртывание. К сильным сторонам относятся сочетание мультимодальности, MoE-архитектуры с небольшим числом активных параметров, поддержки function calling и reasoning, а также оптимизации для высокопроизводительного инференса. Ограничения связаны с зависимостью от совместимого оборудования NVIDIA и специализированной конфигурации vLLM; заявленные параметры производительности относятся к конкретному серверному стеку и не гарантируют аналогичные результаты в других средах. Модель обозначена как uncensored/unfiltered, поэтому встроенные ограничения безопасности могут быть ослаблены. Лицензия указана как Gemma.

unsloth/gemma-4-E2B-it-NVFP4 — квантованная версия инструкционно дообученной мультимодальной модели Google Gemma 4 E2B-it, подготовленная Unsloth в формате NVFP4. Gemma 4 разработана Google DeepMind; модель предназначена для запуска и дообучения с использованием современных GPU-инструментов, включая vLLM. Модель принимает текстовые и графические данные, а также аудио, и генерирует текст. Она ориентирована на генерацию текста, рассуждения, программирование, мультимодальное понимание, агентские сценарии и вызов функций. Для Gemma 4 E2B заявлены поддержка более 140 языков, контекстное окно до 128K токенов и конфигурируемый режим рассуждений. Архитектура включает 35 слоёв, гибридное внимание с локальными окнами размером 512 токенов и глобальным вниманием; эффективный объём параметров составляет 2,3 млрд, или 5,1 млрд с учётом embedding-параметров. К сильным сторонам относятся мультимодальность, большой контекст, поддержка системных промптов и нативного function calling, а также компактный размер, подходящий для локального запуска на устройствах и потребительских GPU. NVFP4-квантизация может снизить требования к памяти, однако её влияние на качество и совместимость зависит от используемого программного и аппаратного окружения. README не приводит подробных результатов бенчмарков и не описывает ограничения безопасности или качества модели. Распространение указано по лицензии Apache 2.0.

Карточка модели Cup5/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

GKA-primed-HQwen3-32B-Instruct — плотная языковая модель с гибридной архитектурой, разработанная на базе Qwen3-32B с помощью конвейера Priming от Hybrid Model Factory. В ней поровну слоёв Attention и Gated KalmaNet (GKA): 32 слоя каждого типа. GKA — слой модели пространства состояний, который поддерживает фиксированное состояние и линейные вычислительные затраты по длине последовательности; модель содержит 29,7 млрд параметров и принимает контекст до 131 072 токенов. Модель предназначена для диалога и выполнения инструкций, включая задачи на длинных контекстах. По данным авторов, она близка по качеству к базовой модели и может ускорять инференс на длинных контекстах до двух раз за счёт меньшего KV-кэша. Параметр num_iter позволяет настраивать компромисс между скоростью и вычислениями при инференсе. Модель не является thinking-моделью и не поддерживает вызов инструментов. Авторы отмечают отставание примерно на 2,5–3 пункта от длинноконтекстной версии Qwen3-32B в среднем по указанным бенчмаркам. Лицензия — Apache 2.0.

LibertAIDAI/GLM-5.3-NVFP4 — квантизированная версия GLM-5.3, разработанного Z.ai (Zhipu), подготовленная LibertAI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, работы с инструментами и обработки длинного контекста; заявлена поддержка английского и китайского языков. Модель содержит около 753 млрд параметров и использует архитектуру glm_moe_dsa с разреженным MoE-механизмом на 256 маршрутизируемых экспертов и DeepSeek-sparse attention. Заявленный контекст составляет до 1 млн токенов. Вариант NVFP4 квантизирует преимущественно веса экспертных FFN-слоёв, тогда как attention, маршрутизаторы, общие эксперты, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Размер весов сокращён примерно с 1403 до 433 GiB, а сходство с исходными весами по round-trip cosine составляет 0,9961. Основное преимущество модели — существенное снижение требований к памяти: она рассчитана на запуск, в частности, на четырёх GPU B200 и поддерживается vLLM и SGLang без специальной сборки. Ограничениями остаются крайне большой общий размер модели, необходимость мощной многографической GPU-конфигурации и возможные потери точности, связанные с квантизацией. Модель имеет лицензию glm-5.3; в карточке указана лицензия other со ссылкой на лицензию базовой модели.

NVIDIA gpt-oss-120b-Eagle3-v3 — вариант модели OpenAI gpt-oss-120b с дообученными Eagle3-модулями для ускорения спекулятивного декодирования. В карточке указана архитектура Transformer с Mixture-of-Experts и 120 млрд параметров; метаданные репозитория сообщают о 739,4 млн параметров в размещённых весах. Модель принимает текстовые последовательности и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для работы на GPU NVIDIA. Модель рассчитана на чат-ботов и AI-агентов, ответы по документам в RAG-системах, выполнение инструкций, генерацию кода и рассуждения. Eagle3 предсказывает несколько последующих токенов, а базовая модель проверяет предложенные последовательности; доступны режимы инференса TensorRT-LLM и vLLM. В README заявлено улучшение точности относительно других вариантов gpt-oss-120b-Eagle3. В README указана готовность к коммерческому и некоммерческому применению, однако метаданные обозначают лицензию как other, поэтому условия следует сверять с лицензией репозитория. Карточка также сообщает, что меры по снижению нежелательной предвзятости не указаны; для конкретных сценариев рекомендуется проверять качество и безопасность на собственных данных.

SL-AI/GRaPE-2.5-Helios-GGUF — мультимодальная инструкционная модель семейства GRaPE 2.5, разработанная командой SL-AI. Это версия модели GRaPE 2.5 Helios в формате GGUF; базовая модель указана как SL-AI/GRaPE-2.5-Helios. Helios позиционируется как модель среднего размера с примерно 10 млрд параметров для локального использования и общих задач. Модель принимает изображения, видео и текст, а генерирует текст. Она предназначена для диалогов, творческих задач, агентного программирования, математики, естественно-научных и других STEAM-сценариев, а также задач рассуждения и анализа. Поддерживаются языки English, Chinese, French, German, Spanish, Japanese, Korean, Portuguese, Russian и Arabic. Архитектура в README не раскрыта, размер контекста также не указан. Ключевая особенность — управляемая глубина рассуждений через тег <thinking_mode=xxx> с режимами minimal, low, medium, high и xtra-hi. Это позволяет выбирать компромисс между скоростью и качеством для простых запросов, сложного кода, многошаговой математики и глубокого анализа. Модель также ориентирована на более естественный стиль текста, многоязычное рассуждение и агентные сценарии. Ограничения включают отсутствие заявленных количественных бенчмарков, неизвестные технические характеристики архитектуры и контекстного окна, а также необходимость корректно поддерживать специальные режимы рассуждений в используемом интерфейсе. Лицензия — Apache-2.0.

Hermes-4-14B-abliterated-4bit-mlx — языковая модель, подготовленная divinetribe на основе Babsie/Hermes-4-14B-BF16-abliterated. Постобучение семейства Hermes 4 выполнено NousResearch, базовая архитектура Qwen3 разработана Alibaba, а abliteration применена Babsie. Модель преобразована в 4-битный формат MLX для локального запуска на устройствах Apple Silicon. Модель предназначена для генерации текста, следования инструкциям, работы с инструментами и структурированного вывода, включая локальные OpenAI-совместимые серверы и сценарии программирования. Она поддерживает английский язык, использует токенизатор и chat template Qwen3 и имеет контекст до 40 960 токенов. Квантование выполнено методом affine с размером группы 64; формат хранения — MLX safetensors. Размер на диске составляет около 8 ГБ, поэтому модель рассчитана на комфортную работу на Mac с 16 ГБ памяти и выше. К сильным сторонам относятся локальная работа без облака, API-ключей и телеметрии, относительно небольшой объём памяти и оптимизация для быстрой инференции на Apple Silicon. Abliteration уменьшает склонность исходной модели отказывать в ответах на допустимые, но потенциально спорные запросы, однако не является улучшением общих способностей и требует ответственного применения. Ограничения включают зависимость от оборудования Apple Silicon, поддержку только текстовых сценариев и возможное снижение качества по сравнению с полноточной версией из-за 4-битного квантования. Модель распространяется по лицензии Apache 2.0, унаследованной от upstream-семейства Hermes 4 и Qwen3.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

duyntnet/Llama-3.1-Nemotron-Nano-4B-v1.1-imatrix-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA. Исходная модель создана на основе NVIDIA Llama-3.1-Minitron-4B-Width-Base, которая, в свою очередь, получена из Llama 3.1 8B с применением методов сжатия модели. Модель предназначена для генерации текста, диалогов, решения математических и программных задач, рассуждений, Retrieval-Augmented Generation (RAG) и вызова инструментов. Она поддерживает режимы рассуждения и обычного ответа, а также контекст длиной до 128K токенов. Благодаря размеру около 4 млрд параметров и квантизированному формату подходит для локального запуска, в том числе на одной RTX GPU, через llama.cpp, KoboldCPP, text-generation-webui, Ollama, Jan и совместимые интерфейсы. К сильным сторонам относятся сочетание компактности, эффективности, поддержки рассуждений и tool calling, а также многоэтапное дообучение на задачах математики, программирования, рассуждений, диалогов и следования инструкциям. Ограничениями являются текстовая специализация, заявленный язык English и возможные потери качества, связанные с квантизацией; конкретные характеристики зависят от выбранного GGUF-файла. В карточке указана лицензия other; исходное описание сообщает о готовности модели к коммерческому использованию, но точные условия лицензии для данной сборки не раскрыты.

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF — это набор квантованных сборок Meta-Llama-3-70B-Instruct в формате GGUF, подготовленный и опубликованный MaziyarPanahi на основе модели Meta. Исходная модель разработана Meta и предназначена для диалоговых сценариев, коммерческого и исследовательского использования на английском языке. Модель содержит около 70 млрд параметров и построена на авторегрессионной архитектуре оптимизированного Transformer с Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст и код, поддерживает контекст до 8 тысяч токенов и была обучена на смеси общедоступных онлайн-данных объёмом более 15 трлн токенов. Инструкционная версия дополнительно оптимизирована с помощью supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Главное преимущество репозитория — наличие вариантов квантования от 2 до 8 бит, а также 16-битной версии, что позволяет запускать модель с различными требованиями к памяти и производительности. При этом более сильное квантование может снижать качество по сравнению с исходными весами, а запуск 70-миллиардной модели всё равно требует значительных вычислительных ресурсов. Модель ориентирована прежде всего на английский язык; использование для других языков обозначено как выходящее за предполагаемую область применения, хотя разработчикам разрешено дообучение при соблюдении условий лицензии. Распространение регулируется специальной коммерческой лицензией Meta Llama 3 и Community License, включая Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; дата выпуска семейства — 18 апреля 2024 года.

MiMo-V2.5 — нативная омнимодальная модель, разработанная Xiaomi MiMo. Она объединяет обработку текста, изображений, видео и аудио в единой архитектуре и предназначена для мультимодального понимания, рассуждений в длинном контексте, программирования и агентских сценариев, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель построена на разреженной архитектуре Mixture of Experts: всего 310 млрд параметров, из которых активируется 15 млрд. Она использует гибридное внимание с чередованием Sliding Window Attention и Global Attention, 729-миллионный Vision Transformer для изображений и видео и аудиоэнкодер на 261 млн параметров. Поддерживается контекст до 1 млн токенов, а Multi-Token Prediction ускоряет инференс посредством speculative decoding. В заявленных языках указаны английский и китайский. К сильным сторонам относятся широкий набор модальностей, большой контекст, эффективная работа с длинными последовательностями и развитые агентские возможности. Модель крупная и, вероятно, требует значительных вычислительных ресурсов для развёртывания; README не приводит точных требований к оборудованию и количественных результатов benchmark-тестов. Модель распространяется по лицензии MIT.

Ornith 1.5 35B A3B UNCENSORED JANG_4M — это квантованная MLX-версия мультимодальной модели Ornith-1.5-35B-A3B, опубликованная dealignai на базе разработки ornith-ai. Модель предназначена для запуска на устройствах Apple Silicon через vMLX или совместимый MLX-VLM runtime и ориентирована на диалоговые задачи, программирование, рассуждения, работу с изображениями и видео, а также агентные сценарии с вызовом инструментов. Модель имеет архитектуру Mixture-of-Experts с 35,9 млрд параметров, 40 слоями и 256 маршрутизируемыми экспертами. Она использует гибридную основу с gated-delta и полнослойным attention, 27-слойную vision-башню и нативную поддержку видео. Доступен контекст до 262 144 токенов, поддерживаются английский язык, изображения и видео, встроены режим рассуждений и вызов инструментов через XML или function schema. JANG_4M — это 4-битная смешанно-точная квантзация, размер сборки составляет около 20 ГБ. К сильным сторонам относятся сохранённые возможности базовой модели в области знаний, кодирования, рассуждений и компьютерного зрения, длинный контекст, мультимодальность и высокая готовность следовать инструкциям без стандартного поведения отказа. По заявленным результатам, MMLU составляет 78,4%, а соответствие тестам HarmBench — 97,1%; при этом MMLU ниже показателя базовой модели 81,1%. Удаление защитных отказов является существенным ограничением и требует ответственного применения, соблюдения законодательства и мер безопасности. В README указана лицензия Apache-2.0; модель опубликована для исследований AI-безопасности и санкционированного тестирования.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-4B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель архитектуры Qwen3ForCausalLM: принимает текст и генерирует текст. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. В модели применена квантизация весов до INT4, выполненная с использованием алгоритма GPTQ и библиотеки llm-compressor. Квантизируются веса линейных операторов в блоках трансформера; используется асимметричная поканально-групповая схема с размером группы 64. Формат W4A16 снижает число бит на параметр с 16 до 4, что примерно на 75% уменьшает размер на диске и требования к памяти GPU. В README не указаны поддерживаемые языки и точный максимальный контекст, однако при оценке использовалась длина контекста до 40 960 токенов. Модель оптимизирована для эффективного развертывания с backend vLLM, включая OpenAI-совместимый режим обслуживания. Квантизация снижает требования к ресурсам, но может влиять на качество по сравнению с исходной Qwen3-4B; конкретные результаты оценки в представленном README не приведены. Лицензия — Apache 2.0, при этом использование должно соответствовать применимым законам и нормативным требованиям.

AxionML/Qwen3.5-2B-NVFP4 — мультимодальная причинная языковая модель с vision encoder, разработанная AxionML на основе Qwen/Qwen3.5-2B. Модель предназначена для задач, сочетающих работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и развёртывание в открытых системах обслуживания моделей. Модель содержит около 2 млрд параметров, 24 слоя и имеет нативную длину контекста 262 144 токена. Архитектура объединяет Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts согласно описанию семейства Qwen3.5; заявлена поддержка 201 языка и диалекта. Эта версия использует NVFP4-квантизацию весов и активаций линейных слоёв, выполненную с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Квантизация ориентирована на эффективный inference на GPU с архитектурой Blackwell. Сильными сторонами модели являются компактный размер, мультимодальность, длинный контекст и готовность к эффективному обслуживанию. Квантизация может немного снизить точность: в приведённых тестах NVFP4-версия уступает исходной Qwen3.5-2B на ряде языковых бенчмарков. README не содержит полного описания требований к оборудованию, всех результатов для визуальных задач или детальных ограничений применения. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

unsloth/Qwen3.5-4B-GGUF — компактная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen и подготовленная в формате GGUF компанией Unsloth. Она предназначена для локального запуска, а также для задач, связанных с обработкой текста и изображений: рассуждений, программирования, визуального понимания и агентских сценариев. Модель поддерживает 201 язык и диалект. Это каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Указанные характеристики делают её ориентированной на эффективный инференс с относительно низкими требованиями к ресурсам, однако фактическая скорость и доступный контекст зависят от используемого движка и оборудования. Сильные стороны модели — сочетание текстовых и визуальных возможностей, широкий языковой охват, длинный контекст и пригодность для локального развертывания и дообучения с помощью Unsloth. Ограничения, включая качество на конкретных языках, типах изображений и прикладных задачах, в README подробно не описаны и требуют самостоятельного тестирования. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

AMAImedia выпустила эту сборку в рамках платформы NOESIS; это текстовая версия NeoHorse-1-9B, объединённая из Qwen/Qwen3.5-9B и TokenRhythm/NeoHorse-1-9B. Модель использует плотную архитектуру Qwen3.5 для генерации текста и диалога, а репозиторий содержит GGUF и safetensors; метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов. Исходный NeoHorse дообучен для работы с агентными сценариями, инструментами, кодом и инструкциями, а в README для этой сборки также описана абляция отказов (abliteration). Модель ориентирована на многоязычный текстовый вывод, включая английский, русский, китайский и другие языки из метаданных. Она подходит для локального диалога, следования инструкциям, задач программирования и текстовых агентных систем с инструментами. Заявленные результаты NeoHorse относятся к исходной модели; README не приводит отдельной оценки качества именно этой сборки. Это текстовая сборка без весов зрения, а запуск примеров для перепакованного релиза на GPU не проверен. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill-GGUF — это GGUF-квантизированная версия рассуждающей модели, разработанной пользователем nerkyor на базе Qwen/Qwen3.6-35B-A3B от команды Qwen. Модель использует MoE-архитектуру с 35 млрд общих параметров и примерно 3 млрд активных параметров, а также дистилляцию в стиле ReAct, ориентированную на более быстрое и стабильное решение сложных задач. Репозиторий предназначен для локального запуска через llama.cpp и совместимые приложения, включая Lynn Agent и LM Studio. Модель подходит для текстовой генерации, сложного рассуждения, оркестрации и агентских сценариев. Доступна поддержка изображений через отдельный vision projector. GGUF-файлы содержат встроенную native MTP-голову для speculative decoding и, кроме вариантов Q8_0 и F16, используют imatrix-коррекцию. Предлагаются варианты от Q4_K_M примерно на 21 ГБ до F16 примерно на 69 ГБ; рекомендуемый баланс качества и требований к памяти — Q4_K_M, а для высокопроизводительных систем с 32 ГБ и более рекомендуется Q5_K_M. В примере запуска используется контекст 8192 токенов, но README не указывает предельный размер контекста модели. По приведённым тестам дистиллированная версия показывает 80,3% на GPQA-Diamond и сокращает время сквозной оркестрации в 2,3 раза относительно базовой модели при включённом reasoning. Native MTP даёт ускорение до 1,63 раза на Q8_0 в однопоточном тесте, однако выигрыш зависит от квантизации и снижается при высокой многопоточности. Ограничением является небольшое снижение результата MMLU относительно базы — 90,2% против 91,4%; также для запуска требуются значительные объёмы VRAM или unified memory. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8-dynamic — мультимодальная модель семейства Qwen3.6 с архитектурой mixture-of-experts (MoE), разработанная RedHatAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст; заявлены улучшенные возможности рассуждений, вызова инструментов и обработки визуально-языковых запросов. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Модель оптимизирована для инференса в vLLM с помощью динамической FP8-квантизации весов и активаций. Квантизация применяется к линейным слоям трансформерных блоков, тогда как визуальный энкодер, MoE-маршрутизатор, общие эксперты, эмбеддинги и некоторые другие компоненты сохраняются в исходной точности. Это примерно на 50% снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Поддерживаются текстовый и мультимодальный режимы, вызов инструментов, рассуждения и speculative decoding с Multi-Token Prediction. Модель распространяется по лицензии Apache 2.0; в README подтверждена валидация для vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-1M-qx86-hi-mlx — экспериментальная объединённая модель, разработанная независимой AI-лабораторией NightmediaAI (Монтана, США). Она создана на основе нескольких моделей семейств Qwen3.6 и Qwen3.8, включая Wichtel-Qwen3.6-27B, Qwen3.8-27B-heretic-ara и варианты Cold Fusion и GAIN. Модель содержит около 27 миллиардов параметров и распространяется в формате MLX с квантизацией qx86-hi. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, исследовательских и математических задач, а также творческого письма, сюжетной генерации и ролевых сценариев. В метаданных указаны английский, китайский, японский и испанский языки. Заявлена поддержка контекстных окон до 1 миллиона токенов; конфигурацию RoPE можно изменить на 512 тысяч, 1 миллион или вернуть к стандартным 256 тысячам токенов. Вариант qx64-hi также предоставлен для экспериментальной работы с контекстом до 2 миллионов токенов. По приведённым тестам модель показывает лучшие результаты по ряду бенчмарков и меньшую perplexity по сравнению с базовой Qwen3.8-27B. Для конфигурации qx86-hi указаны пиковое потребление памяти около 33 ГБ и скорость около 171 токена в секунду, однако фактические показатели зависят от оборудования и настроек. Это экспериментальный merge, поэтому поведение различных квантизаций может отличаться, а заявленные сверхдлинные контексты требуют дополнительной проверки. Лицензия — Apache-2.0.

Qwen3.8-27B-GGUF — это мультимодальная модель для работы с текстом и изображениями, основанная на Qwen/Qwen3.8-27B. Репозиторий подготовлен Feiteng при спонсорской поддержке Draw Things. Модель распространяется в формате GGUF и предназначена прежде всего для локального запуска через llama.cpp, а также совместима с экосистемой Transformers. Заявленные языки включают английский, китайский, испанский, русский и японский. Основная особенность репозитория — квантизированные варианты языковой модели с эффективностью ниже 4 бит на вес: DT-bpw2.96-IQ3_XXS размером 9,71 GiB и DT-bpw2.48-IQ2_S размером 8,20 GiB. Доступны мультимодальные сценарии благодаря отдельным квантизированным vision encoder-файлам; для Q4_K его размер составляет 314,46 MiB, а сходство выходов с исходной FP32-моделью — 0,99537 по косинусной метрике. Модель поддерживает генерацию текста, рассуждения, программирование, использование инструментов и function calling. Для DT-bpw2.96-IQ3_XXS также заявлена поддержка MTP и предварительная доля принятия черновых токенов около 60% при максимальной длине черновика 3. По приведённым оценкам обе DT-версии набрали 100% на AIME 2026; DT-bpw2.96-IQ3_XXS показала 86,36% на GPQA Diamond, 93,90% на IFEval и 68,06% на BFCL v4, а DT-bpw2.48-IQ2_S — 77,27%, 93,16% и 69,56% соответственно. Квантизация существенно уменьшает требования к хранению, но может снижать точность по сравнению с BF16-версией, особенно на более агрессивных уровнях. Для vision encoder доступны варианты BF16, FP16, Q8_0, Q6_K, Q5_K и Q4_K; их показатели зависят от формата. Лицензия модели — Apache-2.0.

MKRWW/Qwen3.8-27B-int4-AutoRound — производная квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для локального запуска и сервинга через vLLM на потребительских GPU, включая обработку текста, изображений и аудио, задачи рассуждения, программирования, математики, вызова инструментов и описания изображений. Архитектура определяется базовой моделью Qwen3.8-27B и представлена в Transformers как Qwen3_5ForConditionalGeneration; заявлена поддержка мультимодальных сценариев и контекста до 262 144 токенов. В модели применена весовая квантизация INT4 методом Intel AutoRound с group_size 128 и форматом auto_round:auto_gptq. Квантизованы 64 блока языкового декодера, тогда как vision- и audio-компоненты, эмбеддинги, lm_head и отдельные малые проекции сохранены в FP16. Размер весов составляет около 17,45–17,5 ГБ, благодаря чему модель запускается на одной видеокарте с 24 ГБ памяти; для полного контекста 262K рекомендуется конфигурация из двух таких карт. Для CPU и небольшого объёма VRAM этот репозиторий не предназначен. Сильные стороны — заметно сниженное потребление памяти, сохранение мультимодальных возможностей и совместимость с vLLM, включая reasoning и tool calling. Модель по умолчанию использует рассуждение, поэтому при малом лимите вывода ответ может быть обрезан; видимое отдельное поле reasoning_content также требует дополнительной настройки. Приведённые в README результаты являются внутренним сравнением, а не формальным независимым бенчмарком. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

btbtyler09/Qwen3.8-Flash-Next-GPTQ-4bit — это GPTQ-квантизированная 4-битная версия Qwen/Qwen3.8-Flash-Next, разработанного командой Qwen. Модель представляет собой предварительную реализацию архитектуры Qwen4: разреженную мультимодальную MoE-модель, поддерживающую текст и изображения. Она предназначена для генерации и анализа текста, работы с кодом, обработки длинного контекста и мультимодальных сценариев, включая использование через Transformers и совместимые средства инференса, например vLLM. В составе модели 125 млрд параметров, из которых около 6 млрд активируются на один токен, а также 51 млрд параметров n-gram embedding table и 4 млрд параметров MTP-модуля; общий размер чекпойнта составляет около 180 млрд параметров. Архитектура включает 48 MoE-слоёв: 36 слоёв с линейным вниманием Gated DeltaNet и 12 слоёв с полным разреженным вниманием, 512 маршрутизируемых экспертов на слой, 4 параллельных residual-потока, vision encoder на базе 27-блочного ViT и однос layer MTP-модуль для speculative decoding. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн токенов с YaRN. Ключевые компоненты модели используют BF16, а эксперты и проекции полного внимания квантизированы в INT4 с group size 32. Главное преимущество чекпойнта — существенное сокращение объёма GPU-памяти: примерно до 80 ГБ для GPU-резидентной части вместо около 250 ГБ у исходной BF16-модели. При этом на тесте wikitext-2 ухудшение perplexity относительно BF16 составило 0,58%, а для Python-кода — 0,02%; однако качество и поведение в других сценариях могут отличаться. Для работы требуется около 188 ГБ общего хранилища или памяти, включая 102 ГБ BF16-таблицы n-gram, размещаемой в оперативной памяти, поэтому модель остаётся ресурсоёмкой и рассчитана на серверную инфраструктуру, например четыре GPU по 32 ГБ. Модель распространяется по лицензии qwen-community-1.0; в README она указана как license: other. Полные условия следует уточнять в файле LICENSE репозитория.

Qwen3-VL-235B-A22B-Instruct-AWQ — квантованная версия мультимодальной instruct-модели Qwen3-VL-235B-A22B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным запросам, анализа изображений и видео, OCR, визуального рассуждения, решения STEM- и математических задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель построена на архитектуре Mixture-of-Experts (MoE) с общим размером 235B параметров и 22B активных параметров. Она поддерживает текст, изображения и видео, заявлена с нативным контекстом 256K токенов и возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. К сильным сторонам относятся расширенное понимание изображений и видео, распознавание текста в сложных условиях, пространственное и временное рассуждение, а также возможность использования в агентных сценариях и визуальном программировании. Ограничения связаны с крупным размером и высокими требованиями к вычислительным ресурсам: опубликованный набор файлов занимает около 117 GB, а пример запуска рассчитан на 8 GPU с tensor parallelism и expert parallelism. Репозиторий распространяется по лицензии Apache-2.0; для инференса рекомендуется vLLM версии 0.11.0 или выше.

cyankiwi/Qwen3-VL-30B-A3B-Instruct-AWQ-4bit — это квантизированная 4-битная версия мультимодальной instruction-модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также для понимания видео, генерации ответов по визуальному содержимому, анализа документов, OCR, STEM- и математических задач, пространственного рассуждения и взаимодействия с графическими интерфейсами и инструментами. Модель использует архитектуру Mixture-of-Experts (MoE) и относится к семейству с заявленным масштабом 30B параметров и 3B активных параметров. В архитектуре применяются Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, распознавание объектов и документов, анализ пространственных отношений и длительных видео, генерация HTML/CSS/JS и Draw.io по изображениям или видео, а также выполнение задач визуального агента. Ограничения и требования к ресурсам для данной AWQ-квантизации, равно как и подробные результаты тестирования, в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-GGUF — это мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-4B-Instruct в формате GGUF: языковую модель и отдельный vision encoder в вариантах FP16, Q8_0 и Q4_K_M. Модель предназначена для понимания и генерации текста с учётом изображений, а также для анализа видео. Модель ориентирована на визуальные вопросы и ответы, OCR, распознавание объектов и сцен, пространственное рассуждение, анализ документов и видео, STEM-задачи, генерацию кода и взаимодействие с графическими интерфейсами через инструменты. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длительных видео и поддержка OCR на 32 языках. В архитектуре используются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения пространственного и временного анализа. К сильным сторонам относятся сочетание текстового и визуального понимания, работа с мелкими деталями изображений, пространственным контекстом, документами и видео, а также возможность запуска локально на CPU, NVIDIA GPU, Apple Silicon и Intel GPU через llama.cpp, Ollama и другие инструменты GGUF. Выбор точности компонентов позволяет адаптировать потребление памяти и производительность под оборудование, однако квантованные варианты могут уступать FP16 по качеству, а README не содержит подробных числовых результатов бенчмарков, точного перечня поддерживаемых языков для обычного диалога и требований к ресурсам. Лицензия — Apache-2.0.