II.6Документация и сопровождение разработки

mlx-community/Qwen3-4B-Thinking-2507-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.2. Исходная модель опубликована организацией Qwen. Модель относится к классу text-generation и предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на запуск через библиотеку mlx-lm, включая загрузку токенизатора и применение chat template для диалоговых запросов. Из README известно, что она использует формат MLX и имеет размер исходной модели 4B параметров; применяется 4-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальных возможностях не указаны, поэтому модель следует рассматривать как текстовую. Ключевое преимущество — адаптация к экосистеме MLX и уменьшенное 4-битное представление, что может снизить требования к памяти при локальном запуске. Ограничения README не описывает: отсутствуют данные о качестве, производительности, скорости, специализации модели и известных рисках. Лицензия — Apache-2.0.

TeichAI дообучила модель Qwen3 плотной архитектуры для генерации текста. Она основана на unsloth/qwen3-4b-thinking-2507-unsloth-bnb-4bit и содержит 3,7 млрд параметров. Модель рассчитана на диалоговое взаимодействие и генерацию ответов; в карточке также отмечен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Указанная длина контекста — до 262 144 токенов. В качестве обучающего набора использовался TeichAI/deepseek-v3.2-speciale-OpenCodeReasoning-3k; модель обучали с помощью Unsloth и библиотеки Hugging Face TRL. Основной указанный язык — английский. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей о результатах обучения, поэтому пригодность для конкретных задач стоит проверять отдельно.

Qwen3.5-28B — производная модель 0xSero на архитектуре Qwen3.5 MoE, созданная из Qwen/Qwen3.5-35B-A3B методом REAP (Router-weighted Expert Activation Pruning). Из 256 экспертов сохранены 205, то есть удалено около 20%; модель содержит 28 млрд параметров и распространяется в формате BF16. Лицензия — Apache-2.0. Модель предназначена для диалоговой генерации текста, рассуждений и задач программирования. В карточке приведены результаты на HumanEval, MMLU и WikiText-2; по сравнению с исходной моделью после pruning показатели на этих тестах снизились. Основное заявленное преимущество — меньший объём памяти: около 53 ГБ вместо 71 ГБ у исходной BF16-модели. Измерения пропускной способности показывают, что ускорение зависит от размера пакета и может отсутствовать.

JJarvinen/Qwen3.5-2B-EU-Tool-JARVIS-Native-v1 — дообученная текстовая модель разработчика JJarvinen на базе birgermoell/Qwen3.5-2B-EU, созданная с использованием Unsloth и библиотеки TRL. Это плотная авторегрессионная модель семейства Qwen3.5 с 1,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 262 144 токена, язык карточки — английский. Модель предназначена для генерации текста в диалогах и сценариях, где требуется задействовать инструменты через соответствующий интерфейс. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0, разрешающая широкое использование при соблюдении её условий.

ente-ai/Qwen3.5-2B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-2B, разработанной командой Qwen и основанной на Qwen/Qwen3.5-2B. Репозиторий подготовлен с использованием подхода Unsloth Dynamic 2.0 и предназначен для локального запуска, прототипирования, специализированного дообучения, исследований и разработки. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks и элементы разреженной Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель совместима с экосистемой Transformers, а также с vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальное понимание, большой контекст, компактный размер и пригодность для локального инференса и дообучения. При этом масштаб 2 млрд параметров ограничивает максимальную глубину рассуждений и качество на сложных задачах по сравнению с более крупными моделями; README прямо указывает приоритет прототипирования и исследовательских сценариев. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GPTQ-int4 — квантизированная версия модели Jackrong/Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, основанная на Qwen3.5-35B-A3B. Модель предназначена для генерации текста, задач рассуждения и мультимодального понимания изображений с текстом. Указанные языки — английский и китайский. Это MoE-модель с 35 млрд общих параметров, из которых около 3 млрд активируются для каждого токена; используется 256 экспертов, 8 из которых активны одновременно. Квантование выполнено методом GPTQ в формате INT4 W4A16 с размером группы 128. Vision encoder и MTP-модуль сохранены без квантизации, поэтому модель поддерживает анализ изображений, хотя исходное дообучение было сосредоточено на текстовых задачах рассуждения. Для запуска в INT4 требуется примерно 22 ГБ видеопамяти; в примере конфигурации указан контекст до 4096 токенов. Сильные стороны модели — снижение требований к памяти благодаря INT4-квантизации, сохранение мультимодальных возможностей и высокая вычислительная эффективность MoE-архитектуры. Ограничения включают возможную потерю качества из-за квантизации и отсутствие подробных данных о фактических результатах, тренировочном наборе и полном наборе поддерживаемых возможностей. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B-AWQ — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, локального инференса и развёртывания на потребительских GPU. Указаны поддерживаемые языки English и Chinese, а также интеграция с Transformers и vLLM. Модель использует квантизацию AWQ INT4 по схеме W4A16_ASYM с размером группы 128 и zero point. Калибровка выполнена на 512 примерах OpenPlatypus с максимальной длиной последовательности 1024 токена посредством llm-compressor; формат хранения — compressed-tensors. Размер модели составляет около 3,13 ГБ, а потребление VRAM при загрузке — около 3,06 ГБ, что примерно в 2,5–2,6 раза меньше базовой BF16-версии. Это позволяет запускать её на одной видеокарте с 8 ГБ памяти. В заявленных оценках нулевого выстрела модель получила 77,69% на PIQA, 68,75% на Winogrande, 71,65% на HellaSwag, 73,53% на ARC-Easy и 51,71% на ARC-Challenge; средний результат — 68,67%. Сильными сторонами являются существенно сниженные требования к памяти и сохранение заметной производительности в задачах здравого смысла и школьных научных вопросов. Ограничение состоит в том, что результаты приведены только для квантизированной версии и не сопоставлены в идентичных условиях с BF16-моделью, поэтому влияние квантизации точно не установлено. Распространяется по лицензии Apache-2.0.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Qwen3.6-35B-A3B-RAZOR-28B-A3B-E192of256 — производная диалоговая модель семейства Qwen, созданная методом RAZOR: из 256 маршрутизируемых экспертов в каждом MoE-слое оставлены 192. По README, это обучение-не-затрагивающее прореживание экспертов без градиентных обновлений и восстановительного дообучения; сохранены исходные веса оставшихся экспертов. В карточке указано 27,7 млрд параметров (27,0 млрд без модуля MTP) и около 3 млрд активных параметров на токен. Архитектура — Qwen3.5 MoE для Transformers; веса представлены в safetensors и bfloat16. Модель предназначена для генерации текста в диалогах и работы с интерфейсом вызова инструментов. Метаданные связывают её с Qwen/Qwen3.6-35B-A3B, краткое описание которого указывает на мультимодальный анализ изображений, однако README этой производной версии описывает только прореживание экспертов и не подтверждает сохранение или проверку обработки изображений. Лицензия — Apache-2.0. Прореживание уменьшает объём хранения экспертов, сохраняя примерно прежнее число активных параметров на токен, но является потерным: могут измениться разнообразие, форматирование и поведение завершения ответов; качество вне конечного калибровочного корпуса отдельно не охарактеризовано.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 40-миллиардная модель на базе Qwen3.6, разработанная DavidAU при участии Nightmedia, TeichAI, armand0e, trohrbaugh и nbeerbower. Модель создана как результат многоэтапного fine-tuning, объединения нескольких версий Qwen3.6-27B Fable Fusion и последующей настройки с использованием Unsloth. Доступны обычные GGUF-квантизации и варианты с поддержкой MTP, включая 4-битные и 8-битные версии; заявлена совместимость с потребительским оборудованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, анализа, программирования, творческого письма, ролевых сценариев и работы с текстом. В README также заявлена поддержка vision, однако конкретные форматы входных данных и ограничения мультимодальности не описаны. Указаны английский и китайский языки. Модель ориентирована на более глубокие рассуждения, подробные ответы, улучшенное следование инструкциям и общую интеллектуальную производительность; заявлено сокращение числа токенов в thinking-блоке по сравнению с обычными Qwen. К сильным сторонам относятся крупный размер, многоэтапная настройка, наличие разных GGUF-квантизаций и акцент на reasoning, instruction following и универсальность. Модель обозначена как uncensored и heretic, поэтому уровень защитных ограничений может отличаться от оригинальных моделей Qwen. README не содержит точного размера контекста, полной спецификации архитектуры, детальных результатов независимых тестов и описания требований к ресурсам, поэтому производительность и пригодность для конкретных сценариев следует проверять самостоятельно. Лицензия — Apache-2.0.

hellohazime/Qwen3.8-2.4T-A95B-REAP-512GB-GGUF — GGUF-сборка модели Qwen3.8-2.4T-A95B, основанная на unsloth/Qwen3.8-2.4T-A95B-GGUF и подготовленная автором hellohazime. Это MoE-модель с 512 экспертами в каждом слое, из которых сохранены 304, выбранные по частоте маршрутизации на англоязычном веб-корпусе и коде. Ширина модели не изменялась, а исходная квантизация UD-IQ2_XXS сохранена без повторной квантизации. Размер файла составляет около 404 ГБ (376 GiB), что позволяет полностью разместить модель в памяти Mac с 512 ГБ и использовать её через стандартный llama.cpp. Модель предназначена прежде всего для генерации текста, работы с английским языком и программным кодом, включая агентские сценарии с использованием инструментов и длительные задачи разработки. Заявлено окно контекста 262 144 токена; в проверках использовался контекст до 131 072 токенов. По сравнению с исходной некроппированной квантизированной моделью сборка сохранила 89,7% маршрутизаций экспертов, показала совпадение наиболее вероятного токена 87,6% на английском тексте и 90,0% на коде, а также продемонстрировала загрузку и генерацию в stock llama.cpp. Сильными сторонами являются высокая точность относительно исходной Q2-квантизации, отсутствие необходимости в специальном runtime и пригодность для локального запуска на системе с 512 ГБ памяти. Ограничения связаны с экспертным pruning: отбор калибровался на английском веб-контенте и коде, поэтому неанглоязычные языки и задачи за пределами этих доменов могут пострадать. Производительность и качество за пределами проверенных режимов, включая более длинные контексты и иные распределения данных, не подтверждены. Лицензия указана как other, license_name — qwen3.8-max; ссылка ведёт на лицензию Qwen3.8-2.4T-A95B.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8 — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная сообществом Freaksterz на базе оригинальной модели Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений и текста, а также для задач, где важны высокая скорость инференса и умеренное потребление памяти. В основе используется архитектура Qwen3.8-27B с 27 миллиардами параметров. Квантизация выполнена по схеме W8A8: веса представлены в симметричном INT8 с округлением GPTQ, а активации квантизуются динамически для каждого токена. В процессе применены офлайн-ротация QuaRot-подобного типа, SmoothQuant и GPTQ; отдельные компоненты, включая vision tower, embeddings, lm_head, нормы и модуль MTP для speculative decoding, сохранены в BF16. Модель распространяется в формате compressed-tensors и ориентирована на запуск через vLLM с нативным INT8 tensor-core kernel. Заявленная скорость prefilling составляет около 3500 токенов в секунду на двух RTX 3090 в режиме TP2, а средняя дивергенция относительно BF16-версии измерена на уровне KLD 0,0110. Сильными сторонами являются низкое отклонение от BF16-оригинала среди рассматриваемых INT8 W8A8-вариантов, высокая скорость prefilling и сохранение поддержки speculative decoding благодаря BF16 MTP. Ограничения включают неизбежную потерю точности из-за квантизации, зависимость производительности от совместимого оборудования и программного стека, а также отсутствие в предоставленных данных сведений о языковом охвате и размере контекстного окна. Лицензия — Apache-2.0.

Это текстовая сборка модели Qwen3.8-27B, подготовленная YaiLabs из Qwen/Qwen3.8-27B и опубликованная в формате GGUF v3 с весами BF16. В неё включены 851 тензор текстового декодера, эмбеддингов и выходного слоя; это не полная мультимодальная модель на 27 млрд параметров, поэтому обработка изображений и видео в этой сборке не поддерживается. Сборка предназначена для генерации текста и диалогов. README подтверждает успешную загрузку, короткий чат-ответ и выгрузку модели в YVEX на NVIDIA DGX Spark с контекстом 4096 токенов. Это ограниченная проверка совместимости конкретных файлов и конфигурации, а не оценка качества или производительности и не гарантия работы в любом GGUF-совместимом движке. Файл занимает около 53,8 ГБ. Лицензия — Apache 2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная fine-tune и merge-модель семейства Qwen3.8 с 27 млрд параметров, опубликованная в репозитории isihdfg на основе модели DavidAU. По README, разработка выполнена командой DavidAU с использованием методов COLD FUSION, Fable Fusion 711 и инструментов Unsloth. Модель распространяется в форматах GGUF, включая обычные и MTP-квантизации, рассчитанные на запуск на пользовательском оборудовании. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking, reasoning и coder, а также поддержка английского и китайского языков. Основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении детализации ответа; README также заявляет улучшение результатов на ряде ARC-бенчмарков по сравнению с базовыми моделями, однако эти показатели приведены автором и могут зависеть от режима, квантизации и методики оценки. К сильным сторонам относятся ориентация на программирование и творческие задачи, уменьшенное избыточное рассуждение, наличие вариантов для устройств с ограниченными ресурсами и заявленная поддержка MTP. Ограничения включают отсутствие в README точных данных о размере контекстного окна, полном наборе поддерживаемых модальностей и системных требованиях; заявленная «uncensored» и «abliterated» настройка также может означать ослабленные ограничения безопасности. Лицензия модели указана как Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-версия плотной языковой модели Qwen3.8-27B, подготовленная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео при использовании отдельного BF16-проектора. Указаны поддержка английского, китайского и других языков, а также мультимодальный режим image-text-to-text. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408, словарь на 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Она сохраняет встроенный механизм NextN/MTP и дополнительно поставляется с профилем HauhauCS FastMTP 32K для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизации от Q8_K_P до IQ2_M; для изображений и видео требуется отдельный vision projector. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения, что может быть полезно для свободного исследования, автоматизации и сценариев, где важна максимальная отзывчивость. При этом отсутствие защитных отказов повышает риски при работе с вредоносными или чувствительными запросами, а для критически важных длинноконтекстных агентских задач автор рекомендует более сбалансированный вариант. Модель распространяется по лицензии Apache-2.0.

valiolla/Qwen3.8-4B-Distill-heretic — версия Qwen3.8-4B с ослабленным отказом от ответов, созданная на основе модели Empero AI с помощью Heretic v1.4.0. Это плотная языковая модель с 4 млрд параметров в формате Transformers; она представляет собой полнопараметрическое дообучение Qwen/Qwen3.5-4B методом дистилляции на выборке ответов более крупной модели Qwen3.8. Модель рассчитана на диалог, следование инструкциям, рассуждения и вызов функций; в README отдельно выделены математика и общие рассуждения. Заявленная длина контекста — 262 144 токена. В сравнении с исходной Qwen3.8-4B доля отказов в приведённом тесте снизилась с 99 до 24 из 100, а KL-дивергенция составила 0,0109. Тонкая настройка ориентирована на текст; поведение с изображениями унаследовано от мультимодальной базовой архитектуры, но не оценивалось. Для запуска требуются актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимые ядра Gated DeltaNet; без них генерация может быть медленнее и требовать больше памяти. В README также отмечены риск циклов повторения при жадном декодировании длинных ответов и снижение результата на GSM8K относительно базовой модели. Лицензия — Apache-2.0; авторы предоставляют веса «как есть» для исследований и экспериментов.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

mlx-community/Qwen3-8B-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели Qwen/Qwen3-8B в формат MLX с использованием mlx-lm версии 0.24.0. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии с применением chat template, если он доступен в токенизаторе. Модель имеет 8B параметров; обозначение 4bit указывает на 4-битное представление, ориентированное на более компактное хранение и эффективный запуск. В README не указаны архитектурные детали, поддерживаемые языки, контекстное окно или дополнительные модальности, поэтому эти характеристики нельзя достоверно определить. Сильной стороной является готовая конвертация в формат MLX и возможность использования через стандартный интерфейс mlx-lm; ограничениями могут быть особенности совместимости и качества, связанные с 4-битным представлением, однако конкретные показатели в README не приведены. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README содержит пример загрузки модели и генерации ответа.

Qwen3-8B-Base-SFT-R-64 — базовый чекпойнт размером 7,6 млрд параметров, подготовленный David6995 как общая основа для доменных экспертных моделей семейства Qwen3-8B. Это плотная авторегрессионная языковая модель архитектуры Qwen3ForCausalLM; репозиторий содержит полные веса BF16, конфигурацию и токенизатор в формате safetensors. Модель работает с текстом, поддерживает чатовый интерфейс и интерфейс вызова инструментов, а её родной контекст составляет 65 536 токенов. Чекпойнт предназначен для использования как общая база при создании или применении доменных экспертов Qwen3-8B и для генерации текста. Указана лицензия Apache-2.0. README не приводит сведений о конкретных доменах экспертов или оценках качества этой версии.

MrLvTian/Qwen3-8B-shortgpt-prune-1-layer — текстовая генеративная модель из семейства Qwen3, опубликованная пользователем MrLvTian на Hugging Face. Модель предназначена для генерации текста и диалоговых сценариев на основе входного контекста и поддерживает работу через библиотеку Transformers. Модель содержит около 7,4 млрд параметров и рассчитана на контекст длиной до 40 960 токенов. В названии указана модификация shortgpt с удалением одного слоя, однако README не содержит подробностей об архитектуре этой модификации, методе сокращения, обучающих данных, результатах оценки, разработчиках или лицензии. Модель может использоваться для продолжения текста, генерации ответов в чатах, создания черновиков и прототипирования приложений на базе LLM. README не предоставляет подтверждённых сведений о поддерживаемых естественных языках, поэтому языковую совместимость следует проверять отдельно.

Qwen3.8-Flash-Next-119B-A5B-Niwaki-v2.4-3bit-gguf — GGUF-версия модели Mixture-of-Experts, подготовленная проектом Niwaki на основе Qwen3.8-Flash-Next-119B-A5B-Niwaki-v2.4-3bit-mlx. Модель уменьшена структурной обрезкой до 119 млрд параметров всего, из которых активно около 5,6 млрд; в 48 слоях используются маршрутизируемые эксперты. GGUF-сборки квантованы с учётом структуры модели и предназначены для запуска через форк llama.cpp на CUDA, Vulkan, Metal или CPU. Модель предназначена для диалоговой генерации текста, в том числе задач с отслеживанием переменных, простыми вычислениями в несколько шагов и поиском связей по нескольким фактам. По данным карточки, тесты на отслеживание состояния программы близки к результатам MLX-версии, а текст получается связным и по теме. Для коротких ответов рекомендуется отключать режим thinking. Работа с файлами требует форка neopolita-llama.cpp: стандартный llama.cpp пока не поддерживает используемую раскладку GGUF. В README указана лицензия базовой модели, но конкретные условия для этой сборки в предоставленных данных не раскрыты.

Whittle MoE 27B — экспериментальная модель Дэвида (Whittle), полученная преобразованием Qwen3.8-27B в разреженную смесь экспертов и последующим дообучением маршрутизаторов и диалоговым обучением. В метаданных указано 22,3 млрд параметров и контекст 262 144 токена; архитектура — Qwen3.5 MoE для генерации текста. По README, исходные 64 слоя и механизм внимания родительской модели сохранены, а плотные FFN разделены на маршрутизируемые экспертные блоки и общий эксперт. На токен активируется около 17,8 млрд параметров из 27 млрд исходной модели. Модель предназначена для диалогов и генерации ответов. Автор сообщает о снижении зацикливаний и улучшении завершения ответов после обучения сигнала остановки; веса доступны в safetensors, а квантизированные GGUF-сборки — в отдельном репозитории для запуска через llama.cpp. README называет проект исследовательским превью и описывает его как демонстрацию метода восстановления разреженной MoE-модели. Лицензия — Apache-2.0. Ограничения включают слабую точность при выдаче строго заданного числа пунктов, ошибки в сложных структурированных запросах примерно в одном случае из пяти и слабость в арифметике, унаследованную от семейства. Метаданные относят базовую модель к мультимодальным моделям, но README этой версии описывает генерацию текста и не подтверждает обработку изображений или видео.

Qwen3-Coder-30B-A3B-Instruct-GGUF — это квантованная версия языковой модели для генерации текста, созданная сообществом LM Studio на основе Qwen3-Coder-30B-A3B-Instruct от разработчика Qwen. GGUF-квантизацию выполнил bartowski с использованием llama.cpp, релиз b6014. LM Studio не является создателем или владельцем модели. Модель предназначена прежде всего для задач, связанных с программированием и генерацией текста, однако README не содержит подробностей о поддерживаемых языках программирования, естественных языках, размере контекста, конкретной архитектуре или доступных модальностях. Формат GGUF и использование llama.cpp указывают на возможность запуска в совместимой локальной инфраструктуре, но точные требования к ресурсам и параметры квантизации не указаны. Лицензия в README не указана. Модель может генерировать неточный, вредный или нежелательный контент, поэтому результаты требуют проверки, особенно при использовании в программном коде и автоматизированных сценариях.

Qwen3-Coder-480B-A35B-Instruct-MLX-4bit — это 4-битная версия модели Qwen3-Coder-480B-A35B-Instruct, разработанной Qwen. Квантизация выполнена командой LM Studio с использованием MLX — фреймворка Apple для машинного обучения. Модель предназначена для генерации текста и оптимизирована для запуска на устройствах с Apple Silicon через LM Studio 0.3.20 или более поздней версии. Модель ориентирована прежде всего на сценарии, поддерживаемые исходной Qwen3-Coder-480B-A35B-Instruct, однако в представленном README не указаны её подробные архитектурные характеристики, языки, размер контекста, модальности, специализированные возможности программирования или результаты тестирования. Ключевое преимущество данной версии — 4-битное представление и оптимизация под MLX, что делает её более подходящей для локального запуска на Apple Silicon по сравнению с полноразмерной версией, но конкретные требования к памяти и производительности не приведены. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-Coder-Next-4bit — это 4-битная версия модели Qwen3-Coder-Next, разработанной Qwen и конвертированной сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и, судя по названию базовой модели, прежде всего для задач, связанных с программированием, включая работу с исходным кодом и техническими запросами. Модель рассчитана на запуск через библиотеку mlx-lm и совместима с экосистемой MLX. Ключевой особенностью является 4-битное представление, которое может снижать требования к памяти по сравнению с полноразмерной версией, но потенциально ограничивать точность. README не содержит сведений о размере модели, архитектуре, поддерживаемых языках и модальностях, длине контекста, результатах тестирования, сильных сторонах или конкретных ограничениях. Лицензия модели — Apache 2.0. Для использования требуется установка mlx-lm; приведённый способ запуска ориентирован на генерацию текста с применением chat template, если он доступен.

Карточка модели etiennebamas/qwen3-lr-1-e-5-neat на Hugging Face совпадает с карточкой etiennebamas/qwen3-step32k-1e5, поэтому описание составлено по ней. Qwen3-step32k-1e5 — диалоговая модель генерации текста на базе Qwen3 с 7,6 млрд параметров, дообученная Etienne Bamas на датасете SFT от formalmathatepfl/qwen3-cpt. Она предназначена для текстовых запросов и диалоговых сценариев; использует плотную архитектуру Qwen3 и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Карточка не описывает конкретные специализации, результаты оценки или известные ограничения качества. Лицензия указана как other, поэтому условия использования следует сверять с лицензией в репозитории модели и базовой модели.

Это исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженными экспертами, усреднённо квантованными до 2,36 бита; остальные веса хранятся в BF16. Разработчик — minjaechoi. Модель предназначена для генерации текста и диалога, включая задачи рассуждения, унаследованные от базовой модели. Архитектура — MoE; по карточке Hugging Face, размер составляет 2,3 млрд параметров, а длина контекста — 262 144 токена. Метаданные также отмечают интерфейс для вызова инструментов. Веса сохранены в формате safetensors как BF16-тензоры после деквантизации; README сообщает о совместимости со стандартными Transformers и vLLM. Лицензия наследуется от базовой модели. Карточка характеризует этот чекпойнт как внутренний исследовательский, поэтому его качество и пригодность для конкретных задач следует проверять отдельно.