II.6Документация и сопровождение разработки

Карточка модели OP12138/qwen3-1.7b-grpo на Hugging Face совпадает с карточкой OP12138/qwen3-4b-grpo, поэтому описание составлено по ней. OP12138/qwen3-4b-grpo — разговорная языковая модель семейства Qwen3, разработанная на базе плотной архитектуры Qwen3ForCausalLM. Модель содержит 3,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Репозиторий содержит веса в формате safetensors и поддерживает запуск через Transformers. README сообщает о дообучении с использованием TRL, однако базовая модель указана как None, поэтому определить её идентификатор нельзя. Модель предназначена для диалоговой генерации текста. В карточке не описаны конкретная специализация, обучающие данные или результаты оценки качества. Лицензия в предоставленных данных не указана.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

Qwen3-30B-A3B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для оригинальной модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в локальных приложениях и сервисах, поддерживающих GGUF. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат совместим с llama.cpp и рядом инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другие. Архитектура, число активных параметров, модальности, языки и размер контекста в README не указаны. Сильная сторона модели — возможность локального запуска и выбора уровня квантизации в зависимости от доступного оборудования. Ограничения связаны с тем, что качество и производительность конкретного варианта зависят от выбранной разрядности и совместимого программного окружения. Лицензия в предоставленных данных не указана.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

laion/qwen3-30b-a3b-thinking-opencode-sft-densemixer-serveparity — языковая модель для генерации текста и диалогового общения. В метаданных указаны архитектура Qwen3 MoE и класс Qwen3MoeForCausalLM, библиотека Transformers и размер 2,6 млрд параметров. Модель принимает текст и выдаёт текст; заявленная длина контекста — 262 144 токена. Карточка сообщает, что модель обучена с нуля, но не описывает датасет, назначение, оценку качества или ограничения. Поэтому её можно рассматривать для генерации текста и чата, однако пригодность для конкретных задач по доступным сведениям оценить нельзя. Файл весов указан в формате safetensors. Лицензия в предоставленных данных не указана.

AtomicChat/Qwen3-4B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе оригинальных весов z-lab/Qwen3-4B-DFlash-b16. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и приложении Atomic Chat, включая диалоговые сценарии и генерацию текста. Согласно README, модель имеет плотную decoder-архитектуру DFlashDraftModel, 5 слоёв, 32 attention heads и 8 KV heads, словарь из 151 936 токенов и контекст до 40 960 токенов. Поддерживается только текстовая модальность. В карточке указано 0,5 млрд параметров, а доступный квант Q8_0 занимает около 0,6 ГБ; при этом название базовой модели содержит обозначение 4B, поэтому размер следует трактовать с осторожностью. Ключевая особенность репозитория — самостоятельная квантизация Atomic Chat с использованием importance matrix для каждого варианта, что должно сохранять качество исходной модели при низкой разрядности. Ограничения включают отсутствие мультимодальности и необходимость применять шаблон чата Qwen3 через параметр --jinja; без него возможны некорректно сформированные диалоговые ходы. В README также рекомендована temperature 0.0. Исходная модель выпущена Z Lab по лицензии MIT, квантизированная версия подготовлена Atomic Chat.

Qwen3-4B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Квантование выполнено с использованием MLX командой LM Studio на базе инструментов mlx_lm. Модель оптимизирована для работы на устройствах Apple Silicon, что делает её подходящей для локального запуска при ограниченных ресурсах. Известно, что она содержит около 4 миллиардов параметров и использует 4-битное представление, однако сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. К сильным сторонам относятся компактный размер, сниженные требования к памяти и оптимизация под Apple Silicon. К ограничениям относятся возможное снижение качества по сравнению с полноразмерной или менее агрессивно квантованной версией, а также отсутствие в предоставленных данных подробных характеристик производительности и языкового покрытия. Модель распространяется по лицензии Apache-2.0.

Montalte/qwen3_4b_nh025_thinkcode_a_planb_paper — текстовая модель на архитектуре Qwen3, разработанная Montalte и представленная как объединённый чекпойнт Plan B Localize-and-Stitch. В карточке указано, что он загружен после локальных оценочных запусков; метаданные связывают модель с дообучением Qwen/Qwen3-4B-Base. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и принимает текст для генерации текста. Заявленный размер контекста — 32 768 токенов. Модель подходит для генерации текста и диалогового взаимодействия. В README не приведены результаты оценки качества или более узкое описание целевых сценариев. Распространяется под лицензией Apache-2.0; веса представлены в формате safetensors.

Parda21/Qwen3-4B-NWC — версия языковой модели Qwen3-4B, представленная в формате Neural Weight Compression (NWC). Линейные слои и связанные эмбеддинги хранятся в сжатом BF16-виде; веса восстанавливаются непосредственно CUDA-ядром при умножении матриц. По заявлению автора, веса побитово совпадают с исходной моделью и не квантизированы. Репозиторий содержит 3,7 млрд параметров и рассчитан на контекст до 40 960 токенов. Модель предназначена для генерации текста и диалогов. По сравнению с исходной версией BF16 автор сообщает о сокращении размера весов с 8,04 до 5,55 ГБ, использовании видеопамяти с 8,10 до 5,67 ГБ и скорости 55 против 45 токенов в секунду на RTX 4070 в указанном режиме. Для запуска нужны библиотека nwc, Transformers, Accelerate и CUDA; специальный формат требует поддержки NWC. Лицензия весов — Apache-2.0, как у базовой модели.

litert-community/Qwen3-4B-Thinking-2507 — это квантизированная версия модели Qwen3-4B-Thinking-2507, разработанной командой Qwen и преобразованной в формат LiteRT-LM для локального вывода на устройствах. Модель предназначена для генерации текста и задач, требующих пошагового рассуждения: перед итоговым ответом она формирует цепочку рассуждений в блоке <think>…</think>. Основные сценарии — on-device и edge-инференс на компьютерах, мобильных устройствах и одноплатных компьютерах с использованием runtime Google LiteRT-LM. Модель представляет собой плотную causal language model архитектуры Qwen3ForCausalLM с 4 млрд параметров и 36 слоями. Доступны артефакты с INT4-квантизацией: вариант с блоком 128 размером около 2,3 ГБ и динамический вариант с блоком 32 размером около 2,1 ГБ; для первого также используются INT8-эмбеддинги и целочисленные вычисления. Контекст KV-кэша составляет 4096 токенов. Производительность зависит от устройства и backend: на Apple M4 Max с Metal GPU заявлены около 68,5 токенов/с при декодировании и задержка до первого токена около 0,28 с, а на Raspberry Pi 5 — около 1,5 токена/с. Сильные стороны модели — поддержка локального выполнения, относительно компактный размер, оптимизации LiteRT-LM для GPU и сохранение значительной части качества исходной модели после INT4-квантизации: на GSM8K указано 86% против 90% у reference-версии в формате bfloat16. Ограничения включают зависимость скорости от аппаратной платформы, сокращение качества из-за квантизации и необходимость выделять достаточно большой лимит генерации: рекомендуется max_tokens не менее 2048, иначе цепочка рассуждений может быть оборвана до появления ответа. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

Jackrong/Qwen3.5-27B-GLM5.1-Distill-v1 — экспериментальная мультимодальная модель с 27 млрд параметров, созданная автором Jackrong на базе Qwen3.5-27B. Модель прошла supervised fine-tuning с использованием LoRA на отфильтрованных данных рассуждений, полученных от GLM-5.1; в обучении также использовался набор Qwen3.5-reasoning-700x. Весы опубликованы в формате safetensors, модель рассчитана на работу через Transformers и распространяется по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, многошаговых рассуждений, решения математических и логических задач, программирования и анализа изображений. Заявлена поддержка английского, китайского, японского и испанского языков; архитектура Qwen3.5 поддерживает обработку текста и изображений. Карточка описывает её как экспериментальную версию для обучения, демонстраций и технического исследования, с ожидаемыми улучшениями в структурированности и последовательности ответов. Модель может галлюцинировать факты, а цепочки рассуждений — становиться нестабильными, зацикливаться или отклоняться от задачи. Автор предупреждает, что прирост качества умеренный и не гарантирован; особенно важна проверка ответов о реальных событиях. Хотя метаданные классифицируют модель как image-text-to-text, README также описывает её как инструмент для аналитических задач, кода и математики.

litert-community/Qwen3.5-2B — это версия модели Qwen3.5-2B от Alibaba, преобразованная сообществом LiteRT в формат LiteRT-LM для локального вывода на мобильных и периферийных устройствах с использованием runtime Google LiteRT-LM. Модель предназначена для генерации текста, диалогов и многошаговых взаимодействий на устройствах без обязательной передачи данных в облако; для работы требуется litert-lm версии 0.15 или новее. Модель использует гибридную архитектуру с чередованием 18 блоков GatedDeltaNet с линейным вниманием и 6 блоков полного внимания. Линейные блоки хранят состояние постоянного размера, поэтому потребление памяти слабо растёт с длиной контекста, а полное внимание использует KV-кэш с бюджетом 4096 токенов. Доступны текстовая int8-версия размером около 1,97 ГБ и мультимодальная версия для работы с текстом и изображениями размером около 3,15 ГБ, включающая 24-слойную ViT-модель; обработка изображений рассчитана на статический размер 512×512. Языки явно не указаны, но модель основана на Qwen3.5. Сильными сторонами являются проверенная близость результатов к исходной PyTorch-модели, поддержка CPU и GPU, относительно стабильное потребление памяти при увеличении контекста и возможность многоходовых диалогов. Ограничения включают необходимость совместимого LiteRT-LM, отсутствие встроенной поддержки вызова инструментов и специальных vision-секций в шаблоне чата, а также неподтверждённую работу GPU на устройствах Qualcomm Adreno. Модель распространяется по лицензии Apache-2.0.

Это квантованный GGUF-чекпойнт модели Qwen3.5-35B-A3B, подготовленный mtrpires для локального запуска на Raspberry Pi 5 с 16 ГБ памяти. Базовая модель Alibaba — архитектура Mixture of Experts с 35 млрд параметров всего и примерно 3,3 млрд активных на токен. Для инференса используется ik_llama.cpp; смешанная схема IQK сохраняет повышенную точность для слоёв внимания и общих экспертов, сильнее сжимая маршрутизируемые эксперты. Размер файла — около 11,38 ГиБ, заявленный расход памяти — около 12,5 ГБ. Модель предназначена для генерации текста и диалога в локальном помощнике: она может помогать с кодом, обработкой документов и вызовами инструментов. Автор приводит результаты тестирования на Raspberry Pi 5: около 30,85 токена/с при обработке промпта и 4,53 токена/с при генерации. Карточка указывает контексты калибровки, связанные с чатом, кодом и вызовами инструментов, но не перечисляет отдельные поддерживаемые языки сверх меток en и pt. Для практического запуска на Raspberry Pi 5 рекомендуется окно контекста 16 тыс. токенов и активное охлаждение при длительной нагрузке; устройство с 8 ГБ памяти не подходит. Форматы IQ4_KS и IQ2_KS специфичны для ik_llama.cpp, поэтому модель не будет корректно работать в стандартных llama.cpp и Ollama. Репозиторий распространяется по лицензии Apache-2.0.

litert-community/Qwen3.5-4B — это конвертированная версия текстовой части модели Qwen3.5-4B, разработанной Alibaba, в формат LiteRT-LM для локального вывода на устройствах через runtime Google LiteRT. Модель предназначена для генерации текста, диалогов и других сценариев on-device inference на мобильных и периферийных устройствах. В поставляемый пакет не входят vision tower и MTP-головы, поэтому данная версия работает только с текстом; функции tool calling и обработки изображений не включены. Архитектура гибридная: 24 слоя GatedDeltaNet с линейным вниманием и 8 слоёв полного внимания. Линейные слои используют постоянное по размеру свёрточное и рекуррентное состояние, благодаря чему потребление памяти слабо растёт с длиной контекста; KV-кэш сохраняется только для слоёв полного внимания, с бюджетом 4096 токенов. Доступны варианты int8 размером 4,10 ГБ и Mixed INT4 размером 2,57 ГБ. INT4 рассчитан на устройства с ограниченной оперативной памятью, но немного уступает int8 на математических задачах GSM8K. Модель демонстрирует проверенную совместимость с PyTorch-оригиналом, корректную работу на CPU и GPU, включая Metal, а также поддержку многоходовых диалогов. Для использования требуется LiteRT-LM версии не ниже 0.15.0. Поставляемый пакет использует упрощённый ChatML-шаблон без визуальных и инструментальных секций, поэтому совместимость со стандартным шаблоном Qwen3.5 ограничена. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-DS-v4-Flash-v3.0 — экспериментальная плотная модель на 9 млрд параметров от prithivMLmods, дообученная на базе prithivMLmods/Q3.5-9B-DS-v4-Flash-v2.0, построенной на Qwen/Qwen3.5-9B. Модель использует архитектуру Qwen3.5ForConditionalGeneration и предназначена для диалогов с текстом и изображениями; основное обучение было направлено на рассуждения, математику, научный анализ, программирование и следование инструкциям. Автор описывает многоэтапное обучение примерно на 3,5 тыс. отфильтрованных примеров с трассами рассуждений DeepSeek V4 Flash и на дополнительных наборах данных. Модель подходит для экспериментов с многошаговыми и длинными рассуждениями, решения задач и локального запуска через Transformers. В карточке указан формат safetensors и лицензия Apache-2.0. Это экспериментальный выпуск: в сложных задачах возможны ошибочные промежуточные шаги и выводы, а поведение может отличаться от базовой модели. Качество зависит от охвата и особенностей обучающих данных.

Qwen3.5-9B Triple-Loop Phase 1 Step 2100 — экспериментальная дообученная языковая модель Lordnyx на основе Qwen/Qwen3.5-9B. Она предназначена для диалоговой генерации текста, рассуждений, решения математических задач, программирования и логических задач. Модель использует гибридную архитектуру Gated-DeltaNet и полного внимания; средние 16 слоёв трижды выполняются с общими весами, что даёт заявленную виртуальную глубину в 64 слоя при обычном объёме параметров. Обучение включало дистилляцию по логитам учителя Qwen/Qwen3.8-27B и глубокий надзор. В карточке заявлены контекст до 262 144 токенов и 7,2 млрд параметров по метаданным. Доступны веса Safetensors и GGUF, включая квантованный вариант Q5_K_M; указаны Apache-2.0. Автор сообщает о результатах на собственном наборе из 97 задач, включая 100% на математической подвыборке из 10 заданий, но эти результаты не гарантируют качество на других данных. Модель обозначена как экспериментальная ранняя фаза обучения; заявлена совместимость со стандартными средствами запуска Qwen3.5.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

AEON-7 Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 — дообученная версия мультимодальной модели Qwen3.6-27B с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров. Разработчик применил abliteration: удалил направление отказа, чтобы модель реже отказывалась и продолжала рассуждение на темах, ограничиваемых обычным выравниванием. Карточка также сообщает о восстановлении исходной MTP-головы для спекулятивного декодирования в vLLM. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, агентных сценариев и задач с изображениями. В метаданных указана мультиязычная поддержка, включая английский и китайский; контекст описан как длинный, но его точная длина не приведена. Весы доступны в BF16 в формате safetensors, лицензия — Apache-2.0. Отключение отказов может привести к выдаче вредоносного или небезопасного контента, а заявления о сохранении возможностей и сравнительных преимуществах основаны на данных карточки и не являются независимой оценкой. Автор указывает, что модель устарела и рекомендует более новую линейку Qwen3.8.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный hesamation на основе Qwen/Qwen3.6-35B-A3B. Исходная модель дообучена методом supervised fine-tuning с LoRA на данных, имитирующих рассуждения Claude Opus, а затем объединена с базовой моделью и преобразована в формат GGUF с использованием инструментов llama.cpp. Модель предназначена для генерации текста и локального или серверного запуска в совместимых средах, включая современные сборки llama.cpp. Модель ориентирована на диалоговые сценарии, текстовую генерацию и задачи, требующие пошагового рассуждения. Указаны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0: они различаются размером, требованиями к памяти и ожидаемым качеством. Архитектура базовой модели обозначена как Qwen3.6-35B-A3B; в README также указано, что она включает vision encoder, однако данное дообучение выполнялось только на текстовых примерах. Поэтому улучшения для изображений и видео не заявлены, а мультимодальное поведение следует считать унаследованным от базовой модели. Максимальная длина последовательности при обучении составляла 32768 токенов, заявленный язык — английский. Главное преимущество модели — специализация на рассуждениях и возможность подобрать компромисс между качеством и потреблением памяти с помощью разных уровней квантизации. На ограниченном тесте MMLU-Pro исходная объединённая модель получила 75,71% exact match против 42,86% у базовой модели, но этот результат относится не к отдельным GGUF-файлам, основан на 70 вопросах и не является полноценной оценкой; квантизация может изменить показатели, особенно при низкой разрядности. Модель и её GGUF-варианты распространяются по лицензии Apache-2.0.

Qwen3.6-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной ByteShape с использованием ShapeLearn. Метод ShapeLearn выбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для локального запуска и инференса через llama.cpp или LM Studio, включая сценарии, требующие обработки текста и изображений. Модель относится к семейству с обозначением 35B-A3B; README не раскрывает точную архитектуру, размер контекста и поддерживаемые языки. Доступны варианты, оптимизированные для GPU и CPU: GPU-версии используют IQ-квантизацию, а CPU-версии — преимущественно KQ-квантизацию. Размер файлов составляет примерно от 9,42 до 18 ГБ для GPU-вариантов и от 11,7 до 14,7 ГБ для указанных CPU-вариантов, при диапазоне 2,17–4,15 бит на вес. Сильными сторонами являются поддержка vision-сценариев, возможность локального запуска на различном оборудовании и выбор между качеством, размером и скоростью инференса. Ограничения включают зависимость производительности от конкретного варианта и оборудования, а также отсутствие поддержки этой GGUF-модели в Ollama на момент публикации README. Модель распространяется по лицензии Apache-2.0.

z-lab/Qwen3.6-35B-A3B-PARO — это мультимодальная версия модели Qwen/Qwen3.6-35B-A3B, подготовленная командой z-lab с использованием метода 4-битного квантования ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для генерации и анализа текста, а также для сценариев image-text-to-text, в которых требуется обработка изображений вместе с текстовыми запросами. Модель имеет размер 35B-A3B согласно идентификатору базовой модели. Языковые компоненты квантованы до INT4, тогда как визуальные компоненты сохранены в исходной точности. Такой подход должен обеспечивать высокую эффективность вывода при сохранении качества, близкого к FP16, и скорости, сопоставимой с AWQ, согласно описанию разработчиков. Поддерживаются NVIDIA GPU через vLLM и Transformers, а также компьютеры Apple Silicon через MLX; доступны интерактивный режим и OpenAI-совместимый сервер. К ограничениям относятся повышенный размер относительно полностью квантованной мультимодальной модели и необходимость не загружать визуальные компоненты, если обработка изображений не требуется. В README не указаны поддерживаемые языки, максимальная длина контекста и подробные результаты бенчмарков. Модель распространяется по лицензии Apache-2.0; сведения о дополнительных ограничениях базовой модели в README не приведены.

Qwen3.6-35B-A3B Winnow keep-75 — это разреженная версия Qwen3.6-35B-A3B, подготовленная автором репозитория hbfreed с помощью поканального прореживания экспертов Winnow. В каждом эксперте SwiGLU удалено 25% каналов по оценке их важности; механизмы внимания, эмбеддинги и маршрутизатор не изменены. README указывает 26,6 млрд параметров, тогда как метаданные каталога — 2,9 млрд; эти оценки расходятся, поэтому размер здесь не приводится. Модель предназначена для генерации текста и диалогов. В README приведён результат perplexity 13,39 на C4 для данного непрошедшего дополнительное восстановление чекпойнта; сравнения с другими вариантами и показатели на downstream-задачах вынесены в отдельный материал. Указана длина контекста 262 144 токена. Для загрузки требуется Transformers версии 5 или новее и trust_remote_code=True; README также описывает запуск через vLLM с плагином winnow. Лицензия — Apache-2.0. Языки отдельно не перечислены.

Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3.8-27B. Квантование выполнено разработчиком Ar4ikov с BF16-весов базовой модели с использованием llm-compressor и формата compressed-tensors/pack-quantized. Модель предназначена для генерации и понимания текста, а также работы с изображениями через image-text-to-text сценарии. Она поддерживает режимы рассуждения и обычной генерации, параметр reasoning_effort и нативный контекст до 262 144 токенов; расширение до 1 млн токенов возможно через YaRN согласно данным базовой модели. Языковой стек и полный список поддерживаемых языков в README не указаны. Модель использует схему W4A16_ASYM с asymmetric zero-point, размером группы 128 и BF16-активациями; основные линейные слои текстовой части хранятся в INT4. Эмбеддинги, lm_head, vision-башня, чувствительные компоненты Gated DeltaNet и MTP-голова оставлены в BF16, что сохраняет визуальную часть и спекулятивное декодирование. Ключевое преимущество — снижение потребления памяти и ускорение инференса в рантаймах с нативными INT4-ядрами, например vLLM или SGLang. При загрузке через transformers веса распаковываются в BF16, поэтому экономии VRAM не будет. Квант не прошёл полноценную benchmark-валидацию, проверена только связность генерации, поэтому перед промышленным использованием необходимы собственные оценки качества. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3.8-27B-Fable-Distill-GGUF — это набор квантованных версий мультимодальной модели Qwen3.8-27B-Fable-Distill, разработанной TeichAI на базе Qwen3.8-27B. Модель дообучалась с использованием Unsloth и библиотеки Hugging Face TRL на открытых чатах и агентских трассах Fable 5, а также на существенно большем закрытом наборе персональных данных Fable 5. GGUF-конверсии выполнены с помощью llama.cpp. Модель предназначена для генерации текста, диалогов, агентских сценариев и анализа изображений с выдачей текстового ответа. Поддерживается английский язык. Архитектура включает 65 блоков: 64 трансформерных слоя и один слой multi-token prediction (MTP); MTP-head во всех вариантах сохраняется в формате BF16. Для работы с изображениями требуется отдельный vision projector mmproj в форматах F32, BF16 или F16; без него модель работает только с текстом. Доступны варианты квантования от 2 до 16 бит, размер файлов составляет примерно от 11 до 55 ГБ. Для большинства пользователей рекомендуется Q4_K_M размером около 17 ГБ. К сильным сторонам относятся мультимодальность, поддержка режима рассуждений с параметрами reasoning_effort и несколько вариантов квантования для разного баланса качества и требований к памяти. В README приведены улучшенные результаты относительно базовой Qwen3.8-27B на ARC Challenge, ARC Challenge (Easy) и BoolQ. Ограничения включают высокие требования к ресурсам, зависимость визуального режима от отдельного projector-файла и заметную потерю качества у низкобитных вариантов, особенно Q2_K. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Это семейство GGUF-квантизированных вариантов модели Qwen3.8-27B, опубликованное разработчиком MagicQuant и основанное на базовой модели Qwen/Qwen3.8-27B. Релиз предназначен для генерации текста и диалоговых сценариев, а также для локального запуска моделей через совместимое с GGUF программное обеспечение, включая инструменты llama.cpp. В набор входят гибридные конфигурации MagicQuant и варианты Unsloth с разными уровнями квантования — от MQ-Q6_K_1 и MQ-Q6_K_2 до MQ-IQ2_XXS_1. Размер файлов составляет примерно от 8,27 до 29,03 ГБ. README описывает сравнительное тестирование по метрике KLD и отбор конфигураций, показавших лучшие компромиссы между размером и сохранением характеристик исходной модели. Точные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях кроме текстовой генерации не указаны. Основные преимущества — широкий выбор размеров, возможность подобрать вариант под доступную память и сохранение качества при использовании более крупных квантов; однако степень потери качества зависит от выбранной конфигурации, а наиболее компактные варианты имеют существенно более высокий KLD. Условия распространения указаны как Apache-2.0.

Chungulus/Qwen3.8-27B-Q6_K-GGUF — это неизменённая ванильная квантизованная версия модели Qwen3.8-27B, опубликованная Chungulus на основе исходных весов Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, обработки изображений и видео, вызова инструментов и задач reasoning; заявлена совместимость с нативным форматом tool calling Qwen и управлением режимами мышления через enable_thinking, reasoning_effort и preserve_thinking. Модель поставляется в формате GGUF с квантизацией Q6_K на базе llama.cpp. Основной файл занимает около 22,431 ГБ, vision projector в формате F16 — отдельный файл, а полный репозиторий — около 23,371 ГБ. Сохранена гибридная архитектура Hybrid Gated DeltaNet/full-attention, vision-компоненты, tokenizer и MTP-метаданные; спекулятивное ускорение не заявляется. Архитектурный максимальный контекст и полноценные бенчмарки в README не указаны, а самая длинная проверенная последовательность составляла 73 токена. Текстовая генерация, вызов инструментов, обработка изображений и видео, а также шаблон чата прошли заявленные локальные проверки. Квантизация может снижать качество по сравнению с исходными весами, особенно при меньшей разрядности, а для запуска требуется среда с поддержкой графа Qwen3.8, vision tower/projector и MTP-метаданных. Рекомендуется иметь не менее примерно 27 ГБ доступной памяти с учётом модели, vision projector и базовых накладных расходов; KV-cache дополнительно увеличивается с размером контекста. Модель и данная квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая версия модели Qwen3.8-27B, опубликованная пользователем biennequants на основе модели DavidAU. В README указаны языки английский и китайский, а также варианты GGUF-квантования с точностью 4 и 8 бит, включая версии с MTP и imatrix. Модель создана с применением методов Cold Fusion, Fable Fusion и инструментов Unsloth; заявленная цель — повысить способности к рассуждению и программированию, сократить объём внутренних рассуждений и ускорить генерацию на потребительском оборудовании. Модель предназначена для решения общих задач, анализа и рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Автор заявляет о высоких результатах на тестах ARC-C и ARC-E, превосходстве базовых моделей в ряде бенчмарков и сохранении близкой производительности 4-битной версии к 8-битной, однако эти показатели представлены в README и не подтверждены независимой проверкой. К сильным сторонам относятся сокращённое «мышление», высокая детализация ответов и доступность квантованных вариантов для локального запуска; ограничения включают отсутствие точных сведений о размере контекста, мультимодальных возможностях и системных требованиях, а также потенциально неконтролируемый или откровенный характер ответов, на что указывают обозначения uncensored и heretic. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-Vision-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, диалоговые сценарии и обработку изображений при использовании vision-варианта, если соответствующая система поддерживается базовой моделью. Заявлены языки English и Chinese. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ; в него встроена MTP-голова для speculative decoding. В README указано, что отказное поведение было существенно снижено с помощью Heretic без дообучения и дополнительных данных, но не устранено полностью. При обычном прямом проходе MTP-блок не влияет на качество вывода, а speculative decoding может ускорить генерацию, хотя коэффициент принятия черновых токенов может немного снизиться. К сильным сторонам относятся большой контекст, поддержка мультимодального ввода, сохранённая MTP-структура и относительно компактное представление Q4_K_M. Ограничения включают зависимость от поддержки vision и MTP со стороны конкретного рантайма, а также возможное ухудшение качества квантования по сравнению с f16; для Q4_K_M в README приведена perplexity 7,1814 на wikitext-2. Модель распространяется по лицензии Apache-2.0.