II.6Документация и сопровождение разработки

Карточка модели taskmaster141/qwen3_4b_merged-4000-txt на Hugging Face совпадает с карточкой taskmaster141/SimplyParse-qwen3txt-3rdepoch, поэтому описание составлено по ней. SimplyParse-qwen3txt-3rdepoch — дообученная языковая модель, разработанная taskmaster141 на основе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная модель семейства Qwen3 с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Размер модели составляет 3,7 млрд параметров, длина контекста — до 262 144 токенов. Указан английский язык. Модель подходит для создания ответов и ведения диалога, а также для сценариев, где требуется использовать интерфейс вызова инструментов. Данных о специализации дообучения и его результатах карточка не содержит. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-4B-MLX-4bit — это 4-битная версия модели Qwen3-4B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, включая сценарии диалогового взаимодействия с применением chat template. Из README известно, что модель использует архитектуру и характеристики базовой Qwen3-4B, однако точные параметры, поддерживаемые языки, размер контекста и мультимодальные возможности здесь не указаны. Ключевая особенность этой версии — 4-битное представление и формат MLX, что ориентировано на эффективный локальный запуск в совместимой среде. Ограничения, качество на конкретных задачах и требования к оборудованию в README не описаны. Лицензия — Apache-2.0.

lmstudio-community/Qwen3-4B-MLX-8bit — это 8-битная версия модели Qwen3-4B, преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и локального запуска в экосистеме MLX, включая диалоговые сценарии и другие задачи, поддерживаемые базовой языковой моделью. Модель содержит около 4 миллиардов параметров и использует 8-битное представление, что может снизить требования к памяти при запуске. Для работы предусмотрена библиотека mlx-lm и токенизатор с поддержкой chat template, если она доступна. README не указывает архитектуру, поддерживаемые языки, длину контекста, мультимодальные возможности, результаты тестирования, сильные стороны или ограничения модели, поэтому эти характеристики нельзя достоверно оценить по представленным данным. Лицензия — Apache 2.0.

Qwen3-4B-SFT-Fable5 — модель генерации текста на базе архитектуры Qwen3ForCausalLM, разработанная ermiaazarkhalili как дообучение unsloth/Qwen3-4B. Модель содержит около 3,7 млрд параметров и принимает текстовые запросы для генерации ответов в диалоговом и инструкционном формате; заявленная длина контекста — 40 960 токенов. Модель дообучена методом SFT на наборе ermiaazarkhalili/Fable-5-Complete-2M-Clean. Адаптер LoRA объединён с базовыми весами, поэтому отдельно отключить влияние дообучения нельзя. В карточке приведены только значения обучающей потери; оценка на прикладных бенчмарках не проводилась, а поведение за пределами обучающих данных не проверено. Лицензия в предоставленных данных не указана.

onnx-community/Qwen3.5-0.8B-ONNX-OPT — ONNX-версия постобученной мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen. Это каузальная языковая модель с vision encoder, предназначенная для обработки текста и изображений, включая задачи рассуждения, программирования, визуального понимания, агентных сценариев, прототипирования, исследовательской разработки и специализированного дообучения. Артефакты совместимы с Hugging Face Transformers.js и ONNX Runtime. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и feed-forward блоки; заявлена гибридная архитектура с sparse Mixture-of-Experts на уровне семейства Qwen3.5. Нативная длина контекста составляет 262 144 токена. Модель поддерживает 201 язык и диалект, а также мультимодальный ввод текста и изображений. Благодаря небольшому размеру она ориентирована на более экономичный инференс и локальные эксперименты, однако уступает более крупным моделям по качеству и предназначена прежде всего для задач разработки и исследований. Модель распространяется по лицензии Apache 2.0. README не содержит подробностей о требованиях к аппаратному обеспечению, точных форматах входных изображений и ограничениях коммерческого применения, поэтому эти аспекты следует уточнять отдельно.

AtomicChat/Qwen3.5-4B-DFlash-GGUF — GGUF-квантизированная версия модели z-lab/Qwen3.5-4B-DFlash, подготовленная и самостоятельно квантизированная командой Atomic Chat. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск через llama.cpp, Ollama, LM Studio, Jan или приложение Atomic Chat. В карточке указано, что модель имеет 0,6 млрд параметров, 6 слоёв и архитектуру плотного декодера DFlashDraftModel с гибридным вниманием: скользящее окно 4096 токенов сочетается с глобальным вниманием. Заявлена длина контекста до 262 144 токенов, словарь из 248 320 токенов и текстовая модальность. Репозиторий содержит квантизацию Q8_0 размером около 0,7 ГБ; она описывается как практически без потерь и рассчитанная на сохранение качества исходной модели. Квантизация выполнена с использованием матрицы важности для каждого тензора. Сильными сторонами являются небольшой размер, возможность локальной работы, длинный контекст и применение importance matrix при квантизации. Ограничения — отсутствие в карточке сведений о поддерживаемых языках, результатах тестирования, рекомендуемых параметрах sampling и фактическом качестве на задачах. Для корректного диалогового формата необходимо использовать шаблон Qwen3.5 через параметр --jinja; без него возможна генерация некорректных реплик. Исходная модель выпущена под лицензией Apache 2.0; квантизированная версия подготовлена Atomic Chat.

Qwen3.5-4B-DS-v4-Flash-v1.0 — экспериментальная плотная мультимодальная модель на 4 млрд параметров от prithivMLmods, дообученная на базе Qwen/Qwen3.5-4B. Она принимает текст и изображения и предназначена для диалога и генерации текстовых ответов с улучшенными навыками многошагового рассуждения. Модель обучалась в один этап на длинных примерах рассуждений DeepSeek V4 Flash и дополнительных данных для задач математики, науки, программирования и следования инструкциям. Её сценарии применения включают исследование и оценку рассуждений, решение математических задач, научный анализ и помощь с кодом; размер модели позволяет запускать её локально. Карточка задаёт основной pipeline как image-text-to-text, а метаданные подтверждают поддержку зрения и чата. Релиз обозначен как экспериментальный: возможны артефакты в цепочках рассуждений, ошибочные промежуточные шаги и выводы, а результаты зависят от охвата обучающих данных. Распространяется по лицензии Apache-2.0.

trymirai/Qwen3.5-4B-M — это средний по размеру 4-битный вариант модели Qwen3.5-4B, подготовленный Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и унаследовала архитектуру, назначение, языки, модальности и другие базовые свойства оригинальной Qwen3.5-4B, однако в представленном README их подробные характеристики не указаны. Квантизация выполнена с использованием 4-битного асимметричного целочисленного представления, 4-битных zero points, масштабов bfloat16 и размера группы 32. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms; после посттренировочной квантизации использовалась дистилляция с учётом квантизации. По заявлению разработчиков, чекпойнт находится на компромиссном фронте между размером и KL-дивергенцией, то есть сочетает уменьшенный размер с сохранением качества. Основное преимущество модели — возможность более эффективного локального вывода на Apple silicon при меньших требованиях к памяти по сравнению с исходной моделью. Ограничение состоит в том, что в README заявлена поддержка только Apple silicon; характеристики производительности и качества для других платформ не приведены. Для запуска предлагается пакет mirai для macOS или сборка из исходного кода. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR подготовила GGUF-квантизацию MXFP4 мультимодальной инструктивной модели Qwen3.5-9B для запуска через llama.cpp. В репозитории есть файл текстовой модели размером 5,31 ГБ и отдельный проектор зрения SigLIP в формате F16 размером 922 МБ; для обработки изображений требуются оба файла. Модель поддерживает диалог и следование инструкциям, а режим рассуждений отключён по умолчанию и включается отдельно. Базовая Qwen3.5-9B использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео, поддерживает 201 язык и имеет контекст 262 тыс. токенов с возможностью расширения до 1 млн. Заявленная лицензия — Apache 2.0. Квантизация уменьшает размер файлов и позволяет запускать модель на разных CPU и GPU, однако README не приводит сравнений качества MXFP4 с исходной точностью; видео и широкий языковой охват указаны для базовой модели.

Cyronius создал Qwen3.6-27B-A2.8B — производную модель Qwen3.6-35B-A3B для диалоговой генерации текста и вызова инструментов на CPU и встроенной графике. Разработчик удалил 10 из 40 слоёв базовой модели, дообучил оставшуюся модель с помощью LoRA для восстановления качества и подготовил сборки GGUF; в репозитории также указаны файлы safetensors. В модели 26,2 млрд параметров, из которых активно 2,83 млрд на токен, и 30 слоёв. В GGUF-сборках сохранена голова MTP для спекулятивного декодирования через llama.cpp. Модель рассчитана на быстрый локальный запуск на оборудовании с общей памятью без дискретной видеокарты. Доступны сбалансированная сборка Q4_K_M и более компактная IQ3_S для экспертов с Q4_K для выходного слоя; последняя быстрее и меньше, но может уступать в точности. В тестах авторов сбалансированная сборка показала хорошие результаты на вызове инструментов, однако точность GSM8K и perplexity уступают базовой модели. Проверка проводилась на небольших внутренних наборах и может не отражать качество на других задачах. Лицензия — Apache-2.0.

Youssofal подготовил BF16-версию Qwen3.6-35B-A3B, обработанную методом abliteration с использованием Heretic. Это мультимодальная модель с архитектурой Qwen MoE и интерфейсом диалога; вмешательство применено к текстовой части MoE, при этом сохранена обёртка для обработки изображений. Модель предназначена для генерации текста и диалогов, а также может принимать изображения благодаря сохранённой vision-language обёртке. В тесте отказов на 25 запросах модель отказала в 1 случае; в исходной модели таких отказов было 22. Это показывает снижение склонности к отказам, но не гарантирует качество или безопасность ответов во всех сценариях. Чекпойнт опубликован в формате safetensors с точностью BF16 и распространяется по лицензии Apache-2.0.

amd/Qwen3.8-2.4T-A95B-Quark-MXFP4 — текстовая языковая модель на архитектуре Qwen3_5MoeForCausalLM, разработанная на базе Qwen/Qwen3.8-2.4T-A95B-FP8 и подготовленная Advanced Micro Devices, Inc. с использованием AMD-Quark 0.12. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Размер контекста и полный перечень поддерживаемых языков не указаны. Модель предназначена для инференса и задач генерации текста, включая математические рассуждения и оценивание на бенчмарках. Квантованию подвергнуты routed experts: веса используют статическое представление OCP MXFP4, а активации — динамическое OCP MXFP4. Для запуска заявлена поддержка AMD MI350 и MI355 под Linux с ROCm 7.2.0 и PyTorch 2.12.0; рекомендованные движки инференса — SGLang и vLLM. На GSM8K модель получила точность 97,49%, полностью сохранив результат исходной FP8-модели по приведённому сравнению. Ограничения включают зависимость от указанного оборудования и программного стека, а также отсутствие в README сведений о результатах на других задачах, контекстном окне, детальных возможностях мультиязычной работы и лицензии исходной модели. Указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. (2026), но отдельные условия лицензии в README не приведены.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-KERN-GGUF — это набор смешанно-точных квантованных моделей в формате GGUF, подготовленный Andrew Paul на основе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через llama.cpp, в том числе локально на видеокартах с ограниченным объёмом памяти. Доступны четыре варианта: eqQ4_K_M размером 14,73 ГБ, eqQ3_K_M — 13,04 ГБ, eqQ3_K_S — 11,59 ГБ и eqIQ2_M — 9,58 ГБ. Заявленная сохранность возможностей относительно BF16 составляет примерно 95%, 91%, 81% и 76% соответственно. Конкретные языки и максимальный контекст модели в README не указаны; примеры запуска используют контекст 16 384 токена. Ключевая особенность — распределение разрядности тензоров, выбранное по результатам тестирования возможностей, чувствительности и отклонения логитов, а не только по KL-дивергенции. Все варианты поддерживают обычную генерацию и спекулятивное декодирование: встроенная MTP-голова позволяет использовать draft length 2 или 3, а совместимость с внешним DFlash 2 может повысить пропускную способность. Меньшие варианты удобнее для 16 ГБ видеокарт, тогда как eqQ4_K_M рассчитан преимущественно на 24 ГБ или unified memory. Ограничения включают зависимость заявленных оценок от закрытого внутреннего теста, непроверенную поддержку vision через mmproj и возможное накопление ошибок при KV-cache в режиме q4. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed-FP16 — это MLX-сборка модели Qwen3.8-27B, подготовленная для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локального текстового общения и генерации, включая задачи программирования, приоритетом является высокая скорость генерации в коротких диалогах и быстрых ответах. Разработчик базовой модели — Qwen, сборку и оптимизацию MTPLX выполнил Youssofal для работы на Apple Silicon. Модель имеет размер 27B параметров, использует FP16 для части плавающих тензоров и поддерживает контекст до 262 144 токенов. В MTPLX применяется speculative decoding с multi-token prediction глубиной 3, что позволяет ускорять генерацию без изменения результата относительно обычного декодирования при указанных условиях. Размер загрузки составляет 16 ГБ; для работы требуется Mac с чипом M1–M5 и не менее 32 ГБ unified memory. Эта версия оптимизирована прежде всего для M1 и M2, тогда как для M3 и новее рекомендуется родительская сборка. Сильная сторона модели — высокая скорость генерации и эффективный локальный запуск на совместимых Mac; заявлены до 65,2 токена в секунду на тесте программирования, измеренном на M5 Max, хотя показатели для M1 и M2 отдельно не опубликованы. Ограничения — более низкое качество и меньшая скорость на длительных задачах программирования по сравнению с вариантами, ориентированными на качество, а также зависимость от оборудования Apple Silicon и MTPLX. Модель распространяется по лицензии Apache-2.0.

huginnfork/Qwen3.8-27B-NVFP4A16 — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач понимания изображений и текста, генерации текста по мультимодальному вводу, а также сценариев, где важны сниженное потребление памяти и ускоренный инференс на совместимом оборудовании. Она поддерживает архитектуру семейства Qwen3.5 с гибридом полноформатного внимания и линейного внимания на базе SSM, vision tower и multi-token prediction head. Точные сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Используется схема NVFP4A16 (W4A16): веса 192 MLP-модулей представлены в 4-битном формате FP4 с групповыми масштабами FP8 E4M3, а активации остаются в bf16. Пути self-attention, linear attention, vision tower, lm_head и MTP head также сохранены в bf16. Размер модели составляет около 28,8 GiB в шести shards против 51,7 GiB для исходной bf16-версии. Такой подход обеспечивает существенное сжатие при сохранении наиболее чувствительных к ошибкам компонентов в более точном формате. Сильными сторонами являются экономия памяти, отсутствие квантизации активаций и сохранение в bf16 attention-, SSM- и визуальных компонентов. По приведённым измерениям, perplexity на wikitext-2-raw выросла с 6,9416 до 7,1497, то есть примерно на 3%, что указывает на некоторую потерю точности относительно родительской bf16-модели. Производительность и совместимость зависят от поддержки NVFP4A16 и используемого программно-аппаратного стека. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED-FP8 — это FP8-квантизированная версия мультимодальной модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, подготовленная MrPewpy. Модель предназначена для генерации текста, диалоговых сценариев, работы с изображениями и текстом, а также использования через vLLM и Transformers. Лицензия — Apache-2.0. Модель содержит около 27 млрд параметров и использует гибридную архитектуру с линейным вниманием Gated-DeltaNet и полным attention. Заявлена поддержка мультимодальных задач image-text-to-text, английского языка и контекста до 262 144 токенов. Квантизация выполнена в формате FP8_DYNAMIC: веса представлены в FP8, активации квантизуются динамически, а чувствительные проекции линейного внимания сохраняются в BF16. Размер модели сокращён примерно до 28 ГБ по сравнению с 51,6 ГБ у базовой BF16-версии. Сильными сторонами являются уменьшенный объём хранения, нативная поддержка vLLM, возможность запуска на GPU NVIDIA Ampere, Hopper и Blackwell, а также заявленная оптимизация базовой модели для снижения отказов. В README приведены непроверенные результаты на MMLU, ARC-Challenge, HellaSwag, WinoGrande, GSM8K и TruthfulQA; они не гарантируют аналогичную производительность в прикладных задачах. Для запуска рекомендуется vLLM, а аппаратные требования и качество могут зависеть от используемого движка, настроек и поддержки мультимодальных функций.

amd/Qwen3.8-27B-Quark-Qronos-INT4-W4A16 — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark и алгоритма Qronos. Модель предназначена для задач генерации текста и, согласно метаданным, имеет pipeline image-text-to-text. Она рассчитана на запуск в совместимых inference-средах, включая vLLM с поддержкой схемы W4A16Int4. Модель использует INT4-квантизацию весов с group size 128, тогда как активации сохраняются в формате BF16. Квантизация выполнена методом посттренировочной оптимизации Qronos на основе Hessian, с калибровкой по 128 образцам длиной 512 токенов. Размер базовой модели — 27B параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. По приведённым измерениям, качество близко к BF16-версии: на GSM8K получено 94,62% в thinking-режиме и 89,99% в non-thinking-режиме, perplexity Wikitext составила 8,6819, а точность BFCL для single_turn — 23,80%. Основное преимущество — снижение точности представления весов до INT4 при сохранении большей части качества базовой модели. Ограничения включают зависимость от Quark-совместимого runtime, необходимость поддержки W4A16Int4 и неполную сопоставимость отдельных бенчмарков с публичными рейтингами. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen/Qwen3.8-27B.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная в репозитории trinityomnis и основанная на модели DavidAU. Модель распространяется в формате GGUF, включая обычные и MTP-квантизации, и ориентирована на запуск на потребительском оборудовании. В README заявлены поддержка английского и китайского языков, размер около 27 млрд параметров, режимы рассуждения, а также специализация на программировании, творческом письме, художественной прозе и ролевых сценариях. Ключевая цель разработки — повысить способность к решению задач и детализации ответов, одновременно сократив объём токенов, затрачиваемых на рассуждение, по сравнению с базовой Qwen3.8. По заявлению автора, модель обучалась с использованием методов COLD FUSION и Fable Fusion 711 и показывает более высокие результаты на ряде внутренних или указанных в README бенчмарков, включая ARC-C и ARC-E. Эти результаты не подтверждены независимыми данными в представленном описании. Сильными сторонами модели заявлены скорость генерации, сокращённое рассуждение, кодинг, подробное творчество и широкий спектр сценариев применения. Ограничения включают отсутствие сведений о размере контекстного окна, точной архитектуре, поддерживаемых мультимодальных входах и системных требованиях. Модель обозначена как uncensored и abliterated, поэтому её ответы могут требовать дополнительной фильтрации и контроля. Лицензия — Apache-2.0.

Callick99/Qwen3.8-27B-Uncensored-GGUF — это набор GGUF-квантизаций модели Qwen3.8-27B, разработанной на базе Qwen/Qwen3.8-27B и опубликованной пользователем Callick99. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp. Доступны варианты с интегрированной MTP-головой для speculative decoding, отдельными target- и draft-файлами, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одной MTP-головой и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; наличие vision-компонента позволяет работать с изображениями при использовании соответствующего проектора и runtime. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, занимающие примерно от 10,6 до 29 ГБ. Основная особенность сборки — существенное снижение поведения, связанного с отказами, без дополнительного обучения и изменения обучающих данных; отказы не устранены полностью. MTP и speculative decoding могут повысить скорость генерации, однако для draft-головы возможна немного меньшая частота принятия токенов. Низкобитные квантизации экономят память, но могут снижать качество, особенно IQ2_M. Модель и её возможности в остальном наследуют ограничения базовой Qwen3.8-27B. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

Qwen-3.8-27B-Uncensored-mlx-mixed_3_6 — мультимодальная модель для работы с текстом и изображениями, созданная на основе junafinity/Qwen-3.8-27B-Uncensored и преобразованная пользователем tejones36 в формат MLX с помощью mlx-vlm. Модель предназначена для локального запуска на компьютерах Apple Silicon, генерации текста, анализа изображений, технических объяснений и интеграции через CLI, Python API или локальный OpenAI-совместимый сервер. Модель содержит 27 миллиардов параметров и использует смешанное 3/6-битное квантование с размером группы 64: критические слои внимания и проекций хранятся в 6-битном формате, а MLP-слои — в 3-битном. Средняя точность составляет около 3,6 бита на вес, что снижает требования к памяти и пропускной способности; заявлена возможность запуска на Apple Silicon с 18–24 ГБ и более unified memory. Формат хранения — MLX Safetensors. Поддерживаются текстовая и визуальная модальности, однако сведения о языках и размере контекстного окна в README не указаны. К сильным сторонам относятся локальная работа на совместимом оборудовании, заметное сокращение потребления памяти по сравнению с полноразмерными весами и сохранение повышенной точности в наиболее важных слоях. Ограничениями являются зависимость от экосистемы MLX и Apple Silicon, возможное снижение качества из-за агрессивного квантования, а также отсутствие подробных данных о результатах тестирования, языковой поддержке и контекстном окне. Модель обозначена как uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены. Указана лицензия Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.

MihaiPopa-1 опубликовал модель на основе Empero Qwen3.8-2B-Distill; в карточке указано, что исходную модель разработала Empero. Это причинная языковая модель для диалогов, рассуждений и генерации текста, дообученная методом abliteration для снижения числа отказов. В сравнении с исходной моделью авторы сообщают 3 отказа из 100 запросов против 83 из 100; это может быть полезно для широкого круга запросов, но не гарантирует ответы на каждый запрос. Модель содержит около 2 млрд параметров и использует архитектуру Qwen3.5. Карточка базовой модели указывает дистилляцию на примерах для математики, общих рассуждений и следования инструкциям; заявлен контекст до 262 144 токенов и поддержка вызова инструментов. Доступны веса в формате Safetensors для Transformers и совместимых с архитектурой сред. Хотя архитектура происходит от мультимодальной модели, это дообучение описано как текстовое, а поведение при работе с изображениями не оценивалось. В README приведены результаты на GSM8K и MMLU, однако они относятся к базовой Qwen3.8-2B, а не к версии Heretic-Max, поэтому их нельзя считать оценкой качества этой версии. Веса распространяются по лицензии Apache-2.0; авторы предоставляют их без гарантий и для исследований и экспериментов.

keXjos/Qwen3.8-9B-mlx-4Bit — языковая модель для генерации текста, преобразованная в формат MLX из базовой модели empero-ai/Qwen3.8-9B с использованием mlx-lm 0.31.2. Разработчик конвертации — keXjos; исходную модель разработала команда empero-ai. Модель предназначена для запуска и генерации текста через библиотеку mlx-lm, включая диалоговые сценарии при наличии совместимого chat template. Модель имеет размер 9B параметров и 4-битное представление, ориентированное на эффективное выполнение в MLX. В карточке заявлены поддержка английского языка, reasoning, function-calling и обучение методом SFT, однако подробности архитектуры, длины контекста, фактической поддержки модальностей и количественные показатели качества не указаны. MLX-формат и 4-битная квантизация могут быть сильными сторонами для локального запуска на совместимом оборудовании, но могут ограничивать точность по сравнению с полноразмерными вариантами. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B-SFT-Fable5-Glint — модель генерации текста, разработанная ermiaazarkhalili на основе empero-ai/Qwen3.8-9B. Это дообученная версия архитектуры Qwen3_5ForConditionalGeneration с 9,7 млрд параметров: модель прошла supervised fine-tuning на наборе инструкций Fable-5-Glint-Clean. Она предназначена для диалоговой генерации и выполнения инструкций; метаданные также отмечают интерфейс вызова инструментов. Адаптер LoRA был объединён с базовыми весами, поэтому отдельно отключить дообучение нельзя. Модель распространяется под лицензией Apache-2.0. Качество на прикладных бенчмарках не оценивалось: опубликованы только наблюдения за обучающей функцией потерь. Поведение за пределами данных дообучения не проверено; сохраняются смещения и ограничения базовой модели.

LaTexT/qwen3-8b-gist-sft-50k-gz7-newlines — дообученная модель семейства Qwen3, созданная на базе Qwen/Qwen3-8B. Это плотная авторегрессионная языковая модель с 7,6 млрд параметров, обученная с помощью TRL на наборе данных shannons/ot3-1.2m-50k в эксперименте gist_sft 50k. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы и выполнения инструкций в формате чата. Она поддерживает контекст до 40 960 токенов; в метаданных также отмечен интерфейс вызова инструментов. Для запуска в README приведён пример использования Transformers с pipeline text-generation. Модель принимает текст и генерирует текст. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана, поэтому условия распространения и коммерческого использования следует проверять в карточке модели и у базовой модели. Карточка описывает исследовательский эксперимент и не приводит оценки качества или подробностей ограничений метода gist.

Qwen3-8B-RewardedSoups-baseline — диалоговая языковая модель на базе Qwen3-8B, подготовленная методом Rewarded Soups для совмещения нескольких целей поведения. Разработчик объединил линейной интерполяцией четыре DPO-эксперта, обученных от общей исходной модели; веса экспертов смешаны с коэффициентами 0,15, 0,15, 0,15 и 0,55. Коэффициенты выбраны по 100 проверочным запросам. Модель предназначена для генерации ответов в диалоге с акцентом на следование инструкциям, правдивость, честность и полезность. В карточке описана оценка на UltraFeedback: ответы сравнивали с общей референсной моделью на отложенных запросах, используя Llama-3.3-70B-Instruct в роли судьи. Метаданные указывают архитектуру Qwen3ForCausalLM, 7,6 млрд параметров, контекст до 40 960 токенов и библиотеку Transformers. Базовая модель заявлена как многоязычная; README не уточняет языки обучения этой версии. Модель распространяется в формате safetensors по лицензии Llama 3.1. README сообщает о бюджете дообучения в 300 обновлений оптимизатора с глобальным размером пакета 16, поэтому результаты оценки не следует считать гарантией качества во всех сценариях. Карточка не приводит подробных ограничений применения.

nytopop/Qwen3-8B.w8a8 — это квантованная версия языковой модели Qwen3-8B, разработанная на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста и может использоваться в сценариях диалоговых приложений, ассистентов и других задач, поддерживаемых causal language models. В README также указана совместимость с reasoning parser qwen3. Модель использует 8-битное квантование W8A8 с применением SmoothQuant и GPTQ; вариант оптимизирован для производительности на GPU архитектуры Ampere. При создании использовались 256 калибровочных примеров с максимальной длиной последовательности 4096 токенов, однако эти параметры не подтверждают предельный контекст исходной модели. Размер модели, архитектурные детали, поддерживаемые языки и модальности в README не указаны. Основное преимущество версии — снижение вычислительных и, вероятно, ресурсных затрат по сравнению с полноразмерной моделью при сохранении назначения исходной Qwen3-8B. Ограничения квантования и точность на конкретных задачах не описаны, поэтому качество следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next REAP-288 Q8E MLX — оптимизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем sh0wie. Она предназначена для локального запуска на устройствах Apple с MLX и ориентирована прежде всего на генерацию текста, программирование и агентские сценарии. Мультимодальные веса vision tower сохранены, однако в README оценивалось только качество работы с текстом. Модель относится к классу примерно 180B параметров: 125B приходится на основную модель, ещё 51B — на n-gram embedding table. Архитектура содержит 48 слоёв, чередующих Gated DeltaNet и разреженное внимание Qwen, а MoE-маршрутизация использует top-10 экспертов. В каждом MoE-слое оставлено 288 из 512 экспертов после pruning методом REAP. Тензоры экспертов имеют 8-битное квантование, остальные компоненты, включая attention, embeddings и backbone, — 4-битное. Размер модели около 100 ГБ в памяти, но при потоковой загрузке n-gram table через NVMe может снижаться примерно до 70 ГБ. Сильной стороной сборки является повышенная точность представления экспертных тензоров и совместимость со стандартным mlx-vlm без патчей. При этом pruning остаётся основным источником потери качества: в тесте HumanEval модель получила 90,9%, уступив варианту с полностью 4-битными весами экспертов с результатом 91,5%, поэтому README не рекомендует её большинству пользователей. Поддерживается speculative decoding с отдельной MTP-моделью; заявленное ускорение зависит от оборудования и составляет примерно 1,5–2,6 раза на M5, тогда как на M4 оно близко к нейтральному. Модель распространяется по лицензии qwen-community-license-1.0.