II.6Документация и сопровождение разработки

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться для локального запуска через llama.cpp и Ollama на CPU и GPU. Доступны варианты с разной степенью квантизации: от 2,66 до 4,67 бит на вес и размером примерно от 10,2 до 17,8 ГБ. Варианты KQ оптимизированы для CPU и преимущественно используют KQ-квантизацию, а варианты IQ — для GPU и применяют гибридный подход KQ и IQ. По приведённым бенчмаркам нормализованное качество составляет до 99,75% относительно используемых базовых вариантов, однако конкретный результат зависит от выбранного файла и оборудования. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Основные преимущества модели — широкий выбор компромиссов между размером, скоростью и качеством, а также поддержка CPU и GPU, включая использование на компактных устройствах, согласно материалам разработчика. Ограничения связаны с потерями качества при сильной квантизации, зависимостью производительности от оборудования и тем, что обозначения IQ и KQ не соответствуют стандартным профилям llama.cpp. Модель распространяется по лицензии Apache-2.0.

Dohyeon1/Qwen3-30B-A3B-M-SMoE-ngroups96 — языковая модель семейства Qwen3 с архитектурой Qwen3 MoE, опубликованная пользователем Dohyeon1 на Hugging Face. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, написание и продолжение текстов, а также интеграцию в приложения на базе Transformers. Модель доступна в формате Safetensors и имеет тег conversational. По метаданным модель содержит 2,6 млрд параметров и поддерживает контекст длиной до 40 960 токенов. Основной стек запуска — библиотека Transformers. README не содержит сведений о разработчике, языках, лицензии, обучающих данных, результатах оценки или специальных ограничениях использования, поэтому эти характеристики нельзя достоверно определить по предоставленным данным.

TeichAI разработала эту диалоговую MoE-модель на основе Qwen3-30B-A3B-Thinking-2507, дообучив её на наборе примеров рассуждений Claude Sonnet 4.5 с высоким уровнем reasoning. Модель предназначена для генерации текста, сложных рассуждений, программирования и научных задач; поддерживает интерфейс вызова инструментов. В метаданных указан размер 2,6 млрд параметров и контекст до 262 144 токенов. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; отдельные сведения о других поддерживаемых языках не приведены. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Дообучение на синтетических примерах рассуждений может влиять на стиль и точность ответов; карточка не приводит независимых оценок качества. Применимость к задачам за пределами программирования и науки отдельно не описана.

mradermacher/Qwen3-4B-Instruct-2507-20250808-233922-0-i1-GGUF — это квантизированная версия текстовой инструкционной модели EganAI/Qwen3-4B-Instruct-2507-20250808-233922-0, подготовленная mradermacher в формате GGUF. Модель основана на Qwen3, имеет около 4 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Модель подходит для локального запуска в сценариях, где требуется компактная causal language model: ответы на запросы, генерация и преобразование текста, простые ассистентские задачи и эксперименты с LLM. В README указана поддержка английского языка. Мультимодальные возможности и размер контекстного окна не заявлены, поэтому модель следует рассматривать как текстовую. Доступно множество вариантов квантизации GGUF с размерами примерно от 1,2 до 2,7 ГБ. Это облегчает запуск на устройствах с ограниченными ресурсами, однако степень квантизации влияет на качество: наиболее компактные варианты могут заметно уступать по качеству, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как сбалансированный по размеру, скорости и качеству. Модель распространяется под лицензией Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GPTQ-Int4 — квантизированная версия модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором superjob/Qwen3-4B-Instruct-2507-GPTQ-Int4. Она предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где важны компактность модели и снижение требований к памяти. Заявлена поддержка 104 языков, включая русский и другие языки стран СНГ. Модель использует 4-битную GPTQ-квантизацию весов и 16-битные активации (W4A16), размер группы — 128, порядок активаций статический. Формат compressed-tensors обеспечивает нативную поддержку в vLLM и оптимизирован для запуска с этим движком. README не содержит данных о точном размере контекстного окна, числе параметров исходной архитектуры, поддерживаемых модальностях помимо текста или результатах тестирования, поэтому оценить качество и ограничения по бенчмаркам невозможно. Модель распространяется по лицензии Apache 2.0, как и исходная модель.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-2B — мультимодальная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель дообучена на базе Qwen/Qwen3.5-2B-Base. Архитектура — плотная причинная модель с гибридными блоками Gated DeltaNet и Gated Attention, 2 млрд параметров и контекстом до 262 144 токенов. Модель предназначена для диалогов, рассуждений по тексту и изображениям, вызова инструментов, прототипирования и предметно-ориентированного дообучения. Она поддерживает 201 язык и диалект; по умолчанию работает в режиме без рассуждений, также доступен режим рассуждений. Среди сильных сторон — мультимодальный ввод и длинный контекст. Разработчик рекомендует учитывать масштаб модели при выборе сценария: прототипирование и разработка подходят лучше, чем ресурсоёмкие высокопроизводительные нагрузки. Лицензия — Apache-2.0.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Qwen-3.5-4B-ASVD-Healed — сжатая и восстановленная дообучением версия Qwen/Qwen3.5-4B от автора репозитория Kodjaoglanian. Это плотная причинная языковая модель для диалогов и генерации текста; архитектура Qwen3_5ForCausalLM, около 3,4 млрд параметров, контекст до 262 144 токенов. В README описан метод структурного сжатия ASVD с сохранением 85% дисперсии и последующим восстановлением LoRA rank 32; адаптеры объединены с весами, модель опубликована в bfloat16 и формате safetensors. Модель рассчитана на обычные сценарии генерации текста и диалога, включая запуск в стандартной экосистеме Hugging Face и vLLM, в том числе на устройствах с ограниченной памятью. Карточка сообщает об использовании Wikitext-2 для калибровки; метаданные указывают английский язык. По заявлению автора, восстановление улучшает синтаксис и рассуждения после сжатия, а уменьшение числа параметров экономит видеопамять. Лицензия — Apache-2.0. Сжатие с порогом сохранения дисперсии 85% может ухудшить запоминание редких и узкоспециализированных фактов по сравнению с базовой моделью; для высокой фактической точности в специализированных областях автор рекомендует дополнительное дообучение. В README нет количественных результатов сравнительной оценки.

Это GGUF-квантизация модели Qwen3.5-4B-Instruct от Alibaba Cloud в формате MXFP4 — четырёхбитном формате с плавающей точкой по спецификации OCP Microscaling Formats. В репозитории есть файл весов модели и отдельный проектор зрения SigLIP в F16; для обработки изображений требуется подключить проектор. По карточке исходная модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео и поддерживает 201 язык. Контекст исходной модели — 262 тысячи токенов с возможностью расширения до миллиона. Модель предназначена для генерации текста и диалогов по инструкциям; также README показывает сценарий описания изображений. По умолчанию режим рассуждений отключён, его можно включить параметром. README заявляет совместимость формата MXFP4 с CPU и GPU разных производителей, но фактическая поддержка зависит от используемого ПО. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-88B-YMQ-GGUF — квантованная GGUF-сборка модели 0xSero/Qwen3.5-88B, подготовленная независимым разработчиком ZeroDigest. Это разговорная модель для генерации текста; в карточке заявлены архитектура Mixture-of-Experts с компонентами Transformer и Mamba/SSM и смешанная квантизация с разной точностью для attention, общих и фоновых экспертов. Файл варианта M занимает около 37 ГБ; README рекомендует запуск через llama.cpp и приводит конфигурацию с контекстом 131072 токена. Сборка предназначена для диалогов, разработки кода и работы через API-инструменты вроде RooCode и Aider. README описывает настройку распределения битности по значимости слоёв и экспертов для экономии памяти при сохранении качества маршрутизации, однако приведённые значения perplexity и KL-divergence ещё не заполнены, поэтому заявленное качество не подтверждено опубликованными оценками. Метаданные указывают лицензию Apache-2.0.

Qwen3.5-9B-Claude-Deckard-Agent-Coder-Heretic-qx86-hi-mlx — языковая модель, опубликованная nightmedia. Это merge-модель на базе семейства Qwen3.5-9B, созданная методом NuSLERP с использованием компонентов Qwen3.5-9B-Agent от armand0e и Qwopus3.5-9B-Coder от Jackrong, а также нескольких промежуточных моделей nightmedia и DavidAU. В описании также указана интеграция с MLX и квантизация qx86-hi. Модель предназначена для программирования, агентских сценариев, рассуждений, генерации и продолжения текстов, включая художественную прозу, ролевые диалоги и различные жанры письма. Поддерживаются английский и китайский языки. Заявленный размер — 9 млрд параметров; точная длина контекста и полный перечень поддерживаемых модальностей не указаны. В шаблоне чата предусмотрено переключение режимов рассуждения с помощью тегов <|think_on|> и <|think_off|>, а также управление сохранением рассуждений через <|think_remember|> и <|think_forget|>. Для варианта qx86-hi приведены perplexity 4,155, пиковое потребление памяти около 15,47 ГБ и скорость около 672 токенов в секунду; эти показатели зависят от оборудования и реализации. К сильным сторонам относятся сочетание агентских и кодовых навыков, поддержка глубокого рассуждения и творческой генерации, а также относительно умеренные требования к памяти благодаря квантизации. Ограничения включают отсутствие подробных независимых оценок качества, неизвестную длину контекста и потенциально менее предсказуемое поведение merge- и uncensored-модели. Лицензия указана как Apache-2.0.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.5-9B-OmniCoder-Claude-Polaris — мультимодальная модель семейства Qwen3.5, созданная nightmedia как прогрессивное слияние моделей DavidAU/Qwen3.5-9B-Claude-Opus-Sonnet-Pro-Auto-Variable-HERETIC-UNCENSORED, DavidAU/Qwen3.5-9B-Polaris-HighIQ и Tesslate/OmniCoder-9B. По карточке и метаданным, она предназначена для диалогового взаимодействия с текстом и изображениями; среди исходных моделей есть модель для генерации кода и многошаговых задач разработки ПО. В README приведены отдельные сравнительные показатели родительских моделей, но конкретные результаты этой объединённой модели не указаны. Модель использует архитектуру Qwen3.5ForConditionalGeneration и распространяется в формате safetensors. Карточка также упоминает варианты mxfp8, mxfp4 и qx86-hi в таблице оценок родительских моделей; это не подтверждает наличие таких файлов в репозитории данной модели. Поддерживаемые языки по карточке — английский и китайский. Лицензия — Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-mlx-q4 — это 4-битная MLX-квантизированная версия модели tvall43/Qwen3.6-14B-A3B-FableVibes, подготовленная для локального запуска на компьютерах Apple Silicon. Исходная модель основана на REAP-pruned Qwen3.6-35B-A3B, дистиллирована с использованием QLoRA и reasoning-трасс Claude Fable 5. Она предназначена для генерации текста, решения задач и сценариев, требующих пошагового рассуждения, с выводом рассуждений в формате <think>...</think>. Модель использует гибридную архитектуру Qwen3.5 с линейным вниманием GatedDeltaNet, полным attention и разреженным MoE. Она содержит около 14 млрд параметров, из которых примерно 3 млрд активируются на каждом токене; используется 90 экспертов, 8 из которых выбираются для обработки токена. Квантизация выполнена в 4 бита с group size 64, размер модели составляет около 7,2 ГБ. Разреженность MoE обеспечивает высокую скорость декодирования — около 46 токенов в секунду на M4, а модель рассчитана на запуск на Mac с 16 ГБ памяти. Ограничением является некоторое снижение точности строгого рассуждения из-за 4-битной квантизации; для более высокой точности доступен вариант с квантизацией q6. Лицензия — Apache 2.0.

Qwen3.6-25B-A3B — сжатый чекпойнт на основе Qwen/Qwen3.6-35B-A3B, опубликованный пользователем Jaso1024. Это языковая MoE-модель для диалоговой генерации текста; в конфигурации 40 слоёв и 8 активных экспертов на токен. По README, число параметров уменьшено с 34,66 млрд до 24,97 млрд, тогда как метаданные каталога указывают 2,9 млрд параметров; эти оценки расходятся. Модель распространяется в формате Transformers safetensors с шаблоном чата и рассчитана на контекст до 262 144 токенов. Чекпойнт предназначен для загрузки через Transformers и диалогового использования. Несмотря на сжатие, это крупная bf16-модель, для практического запуска обычно требуется GPU с большим объёмом памяти либо распределённая загрузка с offload. README говорит, что условия лицензии и использования наследуются от базовой модели; в метаданных лицензия обозначена как other.

Это GGUF-версия модели Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32, подготовленная mradermacher в виде квантованных весов с imatrix. По метаданным, исходная модель дообучена на базе nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32 и предназначена для диалоговой генерации текста и следования инструкциям. В README указаны варианты квантования IQ и наличие файла imatrix для самостоятельного создания квантов; также отмечена поддержка изображений, но детали мультимодального использования в этой карточке не приведены. Модель можно применять для генерации и продолжения текста, ответов в чате, творческого письма и задач программирования, если эти возможности унаследованы от исходной модели. Метаданные указывают на контекст 256 тыс. или 1 млн токенов, однако точное значение для этой сборки не подтверждено. Языковые теги карточки: английский, китайский, японский и испанский. Репозиторий распространяется по лицензии Apache-2.0. Квантование уменьшает требования к памяти, но конкретный компромисс между размером и качеством зависит от выбранного варианта; README отмечает, что некоторые малые IQ-кванты могут быть предпочтительнее аналогичных по размеру вариантов.

FreedomAISVR/Qwen3.6-35B-A3B-NVFP4-NoMTP-GGUF — пользовательская квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen в формате GGUF для генерации текста и диалогов. Это MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка использует NVIDIA FP4 с эффективной точностью 4,55 бита на вес и удалёнными головами Multi-Token Prediction. Заявлена поддержка контекста до 131 тыс. токенов и многоязычных задач более чем на 100 языках. Сборка предназначена для локального запуска через llama.cpp на NVIDIA Blackwell, включая видеокарты RTX 50-й серии. В README приведены настройки для GPU с 16 ГБ видеопамяти: эксперты MoE размещаются в системной памяти с помощью --cpu-moe, а внимание остаётся на GPU. Удаление MTP-голов освобождает видеопамять для KV-кэша и весов экспертов. Базовая модель поддерживает использование инструментов; карточка этой сборки подтверждает чат-возможности. Модель подходит для локальных чат-ассистентов и генерации текста на многих языках. Ограничения: заявленный формат NVFP4 нацелен на GPU NVIDIA Blackwell и требует совместимых CUDA-ядер; веса занимают около 19,7 ГБ, поэтому 16-гигабайтной видеокарте требуется выгрузка экспертов в оперативную память. Лицензия базовой модели — Apache 2.0; отдельные условия лицензии этой сборки в предоставленных данных не описаны.

Это производная мультимодальная модель семейства Qwen, созданная Nickyang на основе Qwen/Qwen3.6-35B-A3B методом RAZOR — прореживанием экспертов без градиентного дообучения. В каждом MoE-слое оставлено 128 из 256 маршрутизируемых экспертов. Размер модели составляет 19,4 млрд параметров (19 млрд без модуля многотокенного предсказания), при этом на токен активируется около 3 млрд параметров. Веса представлены в bfloat16 и формате safetensors; для запуска нужна сборка Transformers со встроенной реализацией qwen3_5_moe. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Базовая модель Qwen поддерживает анализ изображений, однако README этой производной описывает прореживание экспертных весов и не уточняет сохранение мультимодальных возможностей. Лицензия — Apache 2.0. Прореживание уменьшает объём хранимых экспертных весов, сохраняя почти неизменной вычислительную нагрузку на токен. Оно является потерным: ответы могут отличаться по разнообразию, форматированию и поведению при завершении, даже если точность на отдельных задачах в основном сохраняется. Поведение на областях, слабо представленных в конечном калибровочном наборе, не охарактеризовано; перед развёртыванием следует оценить модель на целевых данных.

Nickyang выпустил производную модель Qwen3.6-35B-A3B, сокращённую методом RAZOR без дообучения. В каждом MoE-слое оставлено 128 из 256 маршрутизируемых экспертов; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при этом на токен активно около 4 млрд параметров. Веса представлены в формате bfloat16 и safetensors; для запуска требуется сборка Transformers с поддержкой qwen3_5_moe. Модель предназначена для генерации текста и диалогов. Карточка описывает сокращение хранения экспертов при примерно неизменных вычислениях на токен; заявлена поддержка интерфейса вызова инструментов. Основа — Qwen/Qwen3.6-35B-A3B, лицензия Apache-2.0. Обрезка экспертов с потерями: ответы могут отличаться разнообразием, форматированием и поведением при завершении, даже если точность задач в основном сохраняется. Поведение на областях, далёких от калибровочного корпуса, не охарактеризовано; перед применением модель следует оценить на целевой нагрузке.

Qwen 3.6 35B-A3B REAP-48 v2 — опубликованная Crucible версия модели Qwen/Qwen3.6-35B-A3B с удалением 48% маршрутизируемых экспертов и квантованием весов в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалогов; в карточке также приведены результаты задач программирования и вызова инструментов. Указанный размер файла — 8,78 ГиБ. По сравнению с v1 версия v2 перераспределяет точность квантования по измеренной чувствительности тензоров и использует калибровку с шаблоном чата. В README приведены результаты HumanEval+, MBPP+ и BFCL-simple, а также измерения скорости на отдельных устройствах и бэкендах. Производительность i-quants на CUDA, Vulkan и CPU-only сборках не проверялась, поэтому её следует оценивать на целевой платформе. Для некоторых конфигураций llama.cpp README отдельно требует совпадения параметров batch и ubatch: их несоответствие может искажать вычисления. Лицензия — Apache-2.0.

Qwen3.6-KAT-BigBang-SLERP — текстовая MoE-модель, созданная слиянием SLERP двух дообученных моделей на базе Qwen3.6-35B-A3B: KAT-Coder-V2.5-Dev от Kwaipilot и BigBang-v1 от endless-frontier. Репозиторий предоставляет веса в формате GGUF; в README описана версия APEX Mini размером около 13,5 ГБ. Архитектура исходной модели включает 35 млрд параметров, из которых активируется около 3 млрд, 40 слоёв гибридного внимания и контекст до 262 тысяч токенов. Модель предназначена для генерации текста, агентного программирования, вызова инструментов и задач рассуждения. Слияние сочетает кодовые и агентные возможности KAT-Coder с уклоном BigBang в рассуждения; карточка приводит результаты тестирования одной квантованной версии в ограниченной по памяти конфигурации, но подчёркивает, что слияние систематически не оценивалось. Модель принимает и выдаёт текст; визуальная башня и голова MTP в результат не включены. Лицензия — Apache-2.0. Среди ограничений указаны возможные галлюцинации, нестабильное долгосрочное планирование и чувствительность к формату запроса; квантование с потерями может снижать точность. Для запуска GGUF README рекомендует llama.cpp b10516 или новее с поддержкой указанной архитектуры.

Qwen3.6-Whittle-25B-A3B — текстовая MoE-модель для диалогов и генерации текста, созданная автором проекта Whittle на основе Qwen3.6-35B-A3B. В основной версии репозитория удалены 30% маршрутизируемых экспертов базовой модели (256 → 180 на слой), а оставшиеся веса дообучены с помощью самодистилляции от исходной модели. Общее число параметров по метаданным — 2,9 млрд; модель поддерживает контекст до 262 144 токенов. В репозитории также описаны отдельные экспериментальные и GGUF-артефакты, поэтому характеристики конкретных файлов различаются. Модель предназначена для диалогов, следования инструкциям и агентных сценариев; метаданные отмечают интерфейс вызова инструментов. Карточка приводит результаты небольших проверок и указывает на близкую к исходной модели точность в отдельных заданиях, но эти результаты основаны на малом числе примеров. Для текстового и кодового дополнения в стиле базовой модели автор отмечает потерю качества без удалённой n-граммной памяти. Метаданные указывают лицензию Apache-2.0.

Qwen3.8-27B-3bit-MLX — мультимодальная vision-language модель, разработанная на основе Qwen/Qwen3.8-27B и конвертированная пользователем lukaskremla в формат MLX с помощью mlx-vlm 0.6.13. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач, связанных с видео, рассуждениями и использованием инструментов. Она поддерживает мультиязычную работу и длинный контекст, однако точный размер контекста и перечень языков в представленном README не указаны. Модель использует 3-битное квантование весов с group size 64, affine- и RTN-квантованием, при этом vision tower сохранён в формате BF16. Такой формат ориентирован на запуск в экосистеме MLX и снижает требования к памяти по сравнению с полноразмерной версией, но квантование может ограничивать точность относительно исходной модели. README также предупреждает, что Hugging Face может некорректно отображать число параметров MLX-квантизаций. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Della-Carnice-Ostrich-Salience-Glimmer-v5 — 基于 Qwen/Qwen3.8-27B 构建的 270 亿参数稠密多模态模型，由 YFC-112358 通过 della_linear 方法融合多个模型得到。模型面向对话，可接收文本和图像并生成文本；元数据还标注了工具调用接口和视觉能力。模型权重以 safetensors 格式发布，使用 Transformers 加载。 该版本采用单阶段融合，合并了 Ostrich、Carnice、Salience 等模型及一个 Glimmer 版本；README 说明 tokenizer 和配置沿用 Qwen/Qwen3.8-27B。融合过程使用 fp32 计算并以 bf16 保存，README также описывает разреживание по блокам строк и особенности весовых коэффициентов, которые могут влиять на итоговый вклад источников. Лицензия в предоставленных данных не указана.

YFC-112358 создал эту плотную модель семейства Qwen объёмом 27 млрд параметров с помощью трёхэтапного слияния весов. В рецепте DELLA и линейная арифметика задач объединяют несколько моделей на базе Qwen3.6, после чего полученное изменение весов переносится на Cold-Fusion-GAIN-V1.1 на базе Qwen3.8. Репозиторий содержит веса safetensors и использует библиотеку Transformers; модель лицензирована по Apache-2.0. Модель предназначена для диалоговой генерации текста и может использоваться как ассистент для ответов и многошаговых запросов. В метаданных также заявлен интерфейс для вызова инструментов. Несмотря на мультимодальную архитектуру Qwen и наличие визуальной башни у базового семейства, README этой версии описывает прежде всего слияние весов и не подтверждает отдельно качество обработки изображений или видео. Главное ограничение — перенос прироста весов между поколениями Qwen3.6 и Qwen3.8: автор отмечает, что архитектуры совпадают по размерам, но это не гарантирует совместимость представлений, и модель может работать хуже без явной ошибки. Автор приводит значение cold_amp 0,1217 и считает его совместимым с продолжением обучения на общей базе, однако предупреждает, что базовые веса Cold-Fusion могли измениться, что затрудняет точное воспроизведение.

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed — это 4-битная quantized-версия Qwen/Qwen3.8-27B, подготовленная разработчиками MTPLX для быстрого локального запуска на компьютерах Mac с Apple Silicon. Модель предназначена для диалогов, генерации текста и кода, а также сценариев локального использования через MTPLX Mac app или командный интерфейс. Сохранённая встроенная голова multi-token prediction позволяет применять speculative decoding и ускорять генерацию примерно в два-три раза по сравнению с обычным декодированием. Модель использует MLX-пакет с 4-битными матрицами весов и группами по 64 значения; свёрточные ядра GDN, параметры рекуррентного состояния, нормализации и MTP-head хранятся в 16-битном формате. Глубина MTP составляет 3, контекстное окно — 262 144 токена, размер загрузки — 16 ГБ, пиковое потребление unified memory — около 17 ГБ. Указанные настройки sampling: temperature 1.0, top-p 0.95 и top-k 20; поддерживаются уровни reasoning effort xhigh, medium и low. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio с чипами M1–M5 и минимум 32 ГБ unified memory. Главное преимущество — высокая скорость генерации, особенно в коротких чат-сценариях: на MacBook Pro с M5 Max заявлено до 65,2 токена в секунду для coding-задачи и 32,4 токена в секунду при длинной генерации. Компромисс — более грубая 4-битная quantization: авторы README прямо указывают на более низкое качество и меньшую скорость на длинных задачах программирования по сравнению с вариантом Optimized Speed. Для M1 и M2 рекомендуется отдельная FP16-сборка. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-UD-Q3_K_XL-MTP-MLX — это MLX-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная Nathan Sutton для локального запуска на компьютерах Apple Silicon. Модель предназначена прежде всего для генерации текста, программирования и работы в локальном coding agent chad, выполненном в стиле Claude Code. Она может использоваться через chad или напрямую с библиотекой mlx-lm. Модель имеет плотную архитектуру Qwen3.5 на 27 млрд параметров: 64 слоя, включая 48 слоёв GatedDeltaNet и 16 слоёв full attention. Основная часть весов и embeddings квантизирована до 3 бит с группами по 64 значения, а lm_head — до 5 бит; итоговый объём весов составляет около 12,1 ГБ, дополнительно поставляется 4-битная MTP-head. Заявлен нативный контекст до 262 тысяч токенов, однако на устройствах Apple Silicon с 24 ГБ памяти фактическое окно обычно ограничивается десятками тысяч токенов в зависимости от доступного бюджета Metal. MTP-head поддерживает self-speculative decoding, ускоряя генерацию с сохранением точности распределения модели. Шаблон чата по умолчанию использует reasoning_effort medium вместо upstream-значения xhigh. Языки и мультимодальные возможности в README не указаны. Модель ориентирована на устройства с 24 ГБ памяти Apple Silicon, а её лицензия наследуется от базовой Qwen/Qwen3.8-27B и требует проверки перед использованием или распространением.

Qwen3.8-4B — текстовая причинно-следственная модель на 4 млрд параметров, разработанная Empero. Это полное дообучение Qwen/Qwen3.5-4B методом дистилляции: модель обучали на примерно 45 тысячах отобранных трасс рассуждений более крупной модели учителя, включая математику, общие рассуждения и следование инструкциям. Модель предназначена для диалогов, решения математических задач, рассуждений и выполнения инструкций; она также поддерживает вызов инструментов в формате Qwen3.5. Контекст составляет 262 144 токена. Весам в формате bf16 требуется около 8 ГБ памяти, а квантованные варианты позволяют запускать модель на ноутбуках и потребительских видеокартах. Карточка сообщает об улучшении результата на MMLU относительно базовой модели, но о снижении на GSM8K. Модель принимает текст и ориентирована на текстовую генерацию. Возможности зрения унаследованы от мультимодальной базовой архитектуры, однако дообучение было текстовым, а зрительные способности не оценивались. Для запуска нужен свежий Transformers с поддержкой Qwen3.5; без специализированных CUDA-ядер некоторые слои работают медленно и потребляют больше памяти. При длинной генерации возможны циклы повторений, особенно при жадном декодировании. Лицензия — Apache-2.0; веса предоставлены «как есть» для исследований и экспериментов.