II.6Документация и сопровождение разработки

pmercenary/Qwen3-1.7B-base-MED — текстовая генеративная модель семейства Qwen3 с 1,7 млрд параметров. В метаданных указаны архитектурное семейство Qwen3, библиотека Transformers, обучение с использованием SFT и поддержка conversational-сценариев. Максимальная длина контекста составляет 32 768 токенов. Разработчик, базовая модель, языки и лицензия в доступных материалах не указаны. Модель предназначена для генерации текста и может использоваться для продолжения заданного текста, подготовки черновиков и построения диалоговых приложений при соответствующем формате входных данных. README не содержит сведений о тренировочных данных, результатах оценки, целевых предметных областях или специальных медицинских возможностях; обозначение MED в идентификаторе само по себе не подтверждает медицинскую специализацию.

Qwen3-1.7B-GGUF — квантизированная GGUF-версия текстовой модели Qwen3-1.7B, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для генерации текста, следования инструкциям, творческого письма, ролевых сценариев и многошаговых диалогов. Модель поддерживает контекст до 32 000 токенов, режимы с рассуждением и без него, а также команду /no_think для отключения рассуждений. Заявлена повышенная эффективность в математике, программировании и задачах на здравый смысл, а также поддержка более 100 языков и диалектов и расширенные возможности для агентских сценариев. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, характерные для языковых моделей. README не содержит сведений о конкретной лицензии модели, поэтому условия коммерческого и иного использования необходимо уточнять по исходной модели Qwen3-1.7B и странице квантизированной версии.

mlx-community/Qwen3-30B-A3B-8bit — версия модели Qwen/Qwen3-30B-A3B, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. Из доступных данных известно, что модель относится к семейству Qwen, имеет обозначение 30B-A3B и 8-bit представление. Она поддерживает текстовый pipeline, токенизатор с chat template при его наличии и диалоговый формат сообщений. Конкретные сведения об архитектуре, языках, размере контекста, модальностях, производительности и ограничениях в README не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется установить mlx-lm и загружать модель через API MLX.

DavidAU выпустил эту диалоговую модель на основе Huihui-Qwen3-30B-A3B-Thinking-2507-abliterated, дообучив её с помощью Unsloth на наборе TeichAI/claude-4.5-opus-high-reasoning-250x. Это генеративная языковая модель семейства Qwen3 MoE: всего около 30 млрд параметров, из которых активны примерно 3 млрд; метаданные каталога указывают 2,6 млрд параметров. Архитектура использует 128 экспертов, обычно активируя 8 за раз. Модель предназначена для диалогов, следования инструкциям и генерации ответов с рассуждениями. Автор отмечает, что блоки рассуждений обычно короче, чем у исходной Qwen, и что модель стремится реже отказывать, в том числе при запросах на взрослый или откровенный контент. Для таких ответов может потребоваться явно задать желаемый стиль и лексику. Заявленные автором результаты на бенчмарках не сопровождаются полными данными в карточке, поэтому их нельзя считать независимой оценкой качества. Модель принимает и генерирует текст, рассчитана прежде всего на английский язык и поддерживает контекст до 262 144 токенов. Файлы репозитория представлены в формате safetensors; указана лицензия Apache-2.0.

Dohyeon1/Qwen3-30B-A3B-M-SMoE-ngroups96-no-permutation — языковая модель для генерации текста и диалоговых сценариев, доступная через библиотеку Transformers. По идентификатору модель относится к семейству Qwen3 и использует вариант разреженной Mixture-of-Experts-архитектуры; в метаданных указано 2,6 млрд параметров и контекст до 40 960 токенов. Модель предназначена для продолжения текста, генерации ответов в чатах и интеграции в приложения на базе Transformers. Тег conversational указывает на ориентированность на диалоговое применение, а safetensors — на формат хранения весов. В README отсутствуют сведения о разработчике, лицензии, языках обучения, датасетах, результатах оценки и подтверждённых сценариях безопасного использования.

Dohyeon1/Qwen3-30B-A3B-Sub-MoE-ngroups96-adaptive — языковая модель для генерации текста, опубликованная пользователем Dohyeon1 на Hugging Face. По метаданным она предназначена для text-generation и работает с библиотекой Transformers; в тегах указаны архитектура Qwen3 MoE и conversational-сценарии. Название модели указывает на вариант Qwen3 с разреженной MoE-архитектурой, адаптивной группировкой и 96 группами, однако подробности архитектуры в карточке не описаны.

DavidAU представил Qwen3-30B-A3B-YOYO-V2-Claude-4.6-Opus-High-INSTRUCT как instruct-модель для диалогов и задач, требующих рассуждений. Это дообученная на базе YOYO-AI/Qwen3-30B-A3B-YOYO-V2 модель семейства Qwen3 MoE; в репозитории указаны Transformers и формат safetensors. В метаданных указан размер 2,6 млрд параметров, а карточка описывает исходную архитектуру как модель на 30 млрд параметров с 3 млрд активных параметров, 128 экспертами и контекстом 256 тыс. токенов. При этом метаданные указывают нативный контекст 1 010 000 токенов, поэтому фактическую поддерживаемую длину следует проверять для используемой конфигурации. Модель предназначена для генерации ответов в чате и выдачи рассуждений; автор сообщает о настройке на датасете TeichAI/claude-4.5-opus-high-reasoning-250x и приводит результаты нескольких бенчмарков. README называет её гибридом instruct и reasoning и отмечает, что короткие следы рассуждений могут появляться в тексте генерации. Заявления о превосходстве в бенчмарках принадлежат автору и приведённые в карточке данные не позволяют независимо их подтвердить. Язык карточки — английский; подтверждена лицензия Apache-2.0.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-8bit — языковая модель для генерации текста, представленная в формате MLX. Она создана сообществом mlx-community на основе модели Qwen/Qwen3-4B, разработанной командой Qwen, и предназначена для запуска и инференса с использованием библиотеки mlx-lm, прежде всего в экосистеме MLX. Модель имеет размер 4 млрд параметров и 8-битное представление весов, что уменьшает требования к памяти по сравнению с полноразмерной версией и делает её подходящей для локального запуска на совместимом оборудовании. Основной сценарий использования — продолжение и генерация текста по промпту; README также показывает возможность применения chat template для диалогового взаимодействия. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в предоставленных данных отсутствуют. Для работы требуется библиотека mlx-lm версии, совместимой с форматом модели; конвертация выполнена с использованием mlx-lm 0.24.0. К ограничениям относятся зависимость от экосистемы MLX и возможная потеря точности, связанная с 8-битным представлением. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-4B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель на стадии предобучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, логического рассуждения и работы с многоязычными данными. Поскольку модель является базовой, она не заявлена как специально обученная для диалогов или следования инструкциям. Модель содержит около 4,0 млрд параметров, из них 3,6 млрд без учёта embedding-слоёв, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 предварительно обучалось на 36 трлн токенов на 119 языках с использованием данных для кодирования, STEM, рассуждений, книг, многоязычных и синтетических источников. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; при этом квантование может ограничивать точность по сравнению с полной или менее агрессивно квантованной версией. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3.

Qwen3-4B-Diversity — дообученная разговорная языковая модель от hadadxyz на базе Qwen/Qwen3-4B. Она ориентирована на пошаговые рассуждения и использует данные, дистиллированные из ответов различных крупных ИИ-моделей. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов; распространяется в формате safetensors. Модель предназначена для решения математических задач, генерации и анализа кода, общих задач на рассуждение и многоходовых диалогов. Карточка описывает обучение на разнообразных наборах данных с примерами рассуждений и рекомендует отдельные параметры генерации для режимов Thinking и Non-Thinking. Лицензия — Apache-2.0. Карточка не приводит результатов сравнительной оценки, поэтому заявленные улучшения рассуждений не сопровождаются количественными бенчмарками; фактическое качество может различаться в зависимости от задачи.

Qwen3-4B-GGUF — квантизированная GGUF-версия языковой модели Qwen3-4B, разработанной Qwen и подготовленной квантизацией компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LlamaEdge. README указывает поддержку английского языка, текстовую модальность и контекстное окно до 128 000 токенов. Доступны варианты с квантизацией от 2 до 8 бит, а также f16, размером примерно от 1,67 до 8,05 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как низкобитные варианты экономят память, но могут заметно терять в качестве. Для работы используются шаблоны prompt type chatml и qwen3-no-think; поддерживаются режимы с рассуждением и без него. Модель можно запускать как сервис или командное приложение LlamaEdge при наличии совместимой версии. Лицензия указана как qwen-research; подробные условия приведены в лицензии исходной модели Qwen/Qwen3-4B. README не содержит сведений о точной архитектуре, обучающем наборе данных, результатах тестирования или ограничениях безопасности, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

Это дообученная модель Qwen3-4B-Instruct-2507, созданная clijo с использованием TRL. Она предназначена для генерации текста в диалоговом формате и ответа на пользовательские запросы; её можно подключать через Transformers для чат-сценариев. Модель плотная, содержит 3,7 млрд параметров и принимает контекст длиной до 262 144 токенов. Модель дообучена методом GRPO, о чём свидетельствуют метаданные и название репозитория. В карточке не описаны целевая задача оптимизации, сравнительные результаты или ограничения качества. Лицензия в предоставленных данных не указана.

Qwen3-4B-Instruct-2507-MLX-6bit — это 6-битно квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сценариях, поддерживающих MLX. Ключевая характеристика модели — 6-битное квантование, снижающее требования к памяти по сравнению с полноразмерной версией и делающее модель более подходящей для локального использования на совместимых компьютерах Apple. В README не указаны архитектура, точный объём контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти свойства нельзя достоверно описать. К ограничениям относятся возможные ошибки, неточности и генерация неподходящего или вредного содержания, характерные для языковых моделей. Модель распространяется по лицензии Apache-2.0.

Montalte/qwen3_4b_mt11_high_l45_planb_trainable — плотная языковая модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Base и опубликованная Montalte. Карточка описывает её как объединённый чекпойнт Plan B Localize-and-Stitch, выгруженный после локальных оценочных запусков. Модель предназначена для генерации текста и диалогового взаимодействия. В репозитории указаны 3,7 млрд параметров, контекст до 32 768 токенов, формат safetensors и библиотека Transformers. В README не описаны специальные области применения или языковая специализация. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает результатов оценки качества или подробностей обучения; происхождение указано как дообучение базовой Qwen3-4B-Base, а описание также называет чекпойнт объединённым.

Qwen3-4B-NEO-Imatrix-Max-GGUF — набор GGUF-квантизованных версий модели Qwen3-4B, опубликованный DavidAU на базе Qwen/Qwen3-4B. Модель предназначена для генерации текста, диалогов, задач, требующих рассуждений, а также творческих сценариев, включая создание историй и ролевое взаимодействие. Режим reasoning включён по умолчанию согласно описанию модели. Модель имеет около 4 миллиардов параметров и работает с текстом. Варианты используют квантизацию NEO Imatrix; для более низких уровней квантизации заявлен более заметный эффект Imatrix, а IQ4XS и IQ4NL названы оптимальным балансом качества и размера. Для повышения качества рассуждений рекомендуется использовать более высокие уровни квантизации. Вариант Q8_0 описан как максимально обработанный, но без эффекта Imatrix, а F16 соответствует полной точности. Заявленная длина контекста составляет 32K токенов плюс до 8K токенов генерации; также указана возможность расширения контекста до 128K. Сильными сторонами модели заявлены улучшенные рассуждения, генерация ответов и творческие возможности при сохранении преимуществ компактной 4B-модели. Ограничения связаны с компромиссом между размером, скоростью и качеством, характерным для квантизованных вариантов; конкретные поддерживаемые языки, результаты бенчмарков и системные требования в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

MMOPD/Qwen3-4B-OT3-2ep — плотная языковая модель семейства Qwen3, дообученная командой проекта MMOPD на наборе OpenThoughts3-1.2M. Это чекпойнт после двух эпох обучения на трассах рассуждений по математике, программированию и науке; в проекте его также используют как основу для специализированных моделей и экспериментов с дистилляцией. Модель содержит 3,7 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов с пошаговым рассуждением, в том числе при решении математических задач, написании кода и ответах на научные вопросы. Она использует шаблон чата Qwen3 и формат thinking; для работы с ним README рекомендует включать `enable_thinking=True` и использовать сэмплирование. В карточке приведены результаты тестов на общих и доменных бенчмарках, включая медицинские и финансовые наборы, но это не означает специализацию модели в этих областях. Лицензия — Apache-2.0.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

TeichAI дообучила плотную языковую модель Qwen3-4B-Thinking-2507 на наборе TeichAI/gpt-5.1-codex-max-1000x. Модель содержит 3,7 млрд параметров и предназначена для генерации текста в диалогах и решения задач с рассуждением; каталог также отмечает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык, а её контекст составляет до 262 144 токенов. В карточке указаны обучение с помощью Unsloth и библиотеки Hugging Face TRL, а также лицензия Apache-2.0. Подробных оценок качества и ограничений в карточке нет.

AaryanK/Qwen3.5-2B-GGUF — это квантованное представление модели Qwen3.5-2B в формате GGUF, разработанной командой Qwen. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на генерацию текста, прототипирование, исследовательские задачи и разработку прикладных решений. Модель имеет около 2 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с vision encoder. Она поддерживает текстовые и мультимодальные входы, включая изображения и видео, вызов инструментов и контекст до 262 144 токенов. В README также заявлена поддержка 201 языка и диалекта, однако для данной GGUF-сборки явно указан английский язык. По умолчанию модель работает в режиме без рассуждений. К сильным сторонам относятся компактный размер, поддержка длинного контекста, мультимодальность и возможность эффективного локального инференса. Ограничения включают зависимость от актуальной версии llama.cpp с поддержкой операторов Gated DeltaNet, а также отсутствие подробных данных о конкретных вариантах квантования, качестве на бенчмарках и фактическом наборе поддерживаемых языков в этой сборке. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-uncensored-heretic — мультимодальная диалоговая модель llmfan46 на базе Qwen3.5-35B-A3B. Автор сообщает, что применил abliteration для снижения отказов: в приведённом тесте модель отказала в 11 случаях из 100 против 92 у исходной модели. Это не означает, что модель гарантированно отвечает на любые запросы или сохраняет исходное качество во всех задачах. Модель принимает текст и изображения и генерирует текст; поддерживает диалог, визуальный анализ и агентные сценарии с вызовом инструментов. Архитектура сочетает разреженную Mixture of Experts и Gated Delta Networks: 35 млрд параметров всего, около 3 млрд активных; заявленный контекст — 262 144 токена с возможностью расширения до 1 010 000. README указывает широкую языковую поддержку семейства Qwen3.5, но конкретные языки этой сборки не перечисляет. Модель распространяется в формате safetensors для Transformers; README также ссылается на отдельную GGUF-сборку. Лицензия — Apache-2.0. Указанный автором тест KL-дивергенции и сравнение отказов не заменяют независимую оценку качества; снижение отказов может сопровождаться ослаблением защитных ограничений.

Это GGUF-версия модели insraq/Qwen3.5-4B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated-MTP-GGUF, созданная на базе Qwen/Qwen3.5-4B. Модель разработана Empero и insraq: исходная Qwen3.8-4B представляет собой полноразмерную дистилляцию модели Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, а данная версия дополнительно декензурирована с использованием Heretic v1.4.0 и объединена с MTP-drafter из unsloth/Qwen3.5-4B-MTP-GGUF. Это причинная языковая модель для генерации текста, рассуждений, следования инструкциям и нативного function calling; заявлена поддержка английского языка. Модель содержит около 4 млрд параметров и обучалась методом SFT на примерно 45 000 отфильтрованных трасс рассуждений учителя. Она поддерживает контекст до 262 144 токенов, а исходная архитектура относится к текстовому пути vision-language базы Qwen3.5. К сильным сторонам относятся компактный размер, пригодность для запуска на потребительском оборудовании, улучшенные по сравнению с базовой моделью результаты на MMLU и сниженное число отказов: 6 из 100 против 99 из 100 у исходной Qwen3.8-4B. При этом на GSM8K модель уступает базовой версии Qwen3.5-4B, а декензурирование может снижать встроенные защитные ограничения. Для работы требуется совместимый runtime с поддержкой архитектуры Qwen3.5; лицензия — Apache-2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-NVFP4-GGUF — квантизированная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель содержит около 3,97 млрд параметров, использует гибридную архитектуру Gated DeltaNet, Gated Attention и FFN, поддерживает MTP (Multi-Token Prediction) и контекст до 262 тысяч токенов. В репозитории также есть проектор изображений в F16; заявлена возможность расширения контекста до 1 млн токенов. Модель предназначена для диалога и генерации текста по инструкциям, рассуждений и понимания изображений. Шаблон чата изменён: рассуждения выключены по умолчанию и включаются параметром enable_thinking=true. NVFP4 снижает размер весов для совместимых NVIDIA Blackwell GPU; для мультимодального ввода требуется отдельный файл проектора. Это производная модель от Qwen/Qwen3.5-4B, а не новая базовая разработка. Лицензия — Apache-2.0.

tinyopsec/Qwen3.5-4B-Unredacted-MAX-GGUF — набор GGUF-квантизованных версий языковой модели prithivMLmods/Qwen3.5-4B-Unredacted-MAX, созданной на базе Qwen/Qwen3.5-4B. Модель предназначена для генерации текста, выполнения инструкций, решения задач, многошагового рассуждения, исследовательских экспериментов и локального запуска на совместимом оборудовании. Указанный разработчик базовой дообученной модели — prithivMLmods, а данный репозиторий содержит общественные квантизации. Модель имеет около 4,5 млрд параметров, архитектуру Qwen2 с 28 слоями и 28 головами внимания, контекст до 32 768 токенов и словарь размером 151 936 токенов. В README указан английский язык. Доступны варианты с точностью от 16 до 2 бит и размером примерно от 8,4 до 1,1 ГБ, что позволяет выбирать между качеством, требованиями к видеопамяти и компактностью. Поддерживаются сценарии локального инференса через llama.cpp, llama-cpp-python, LM Studio и Ollama. Сильными сторонами являются сравнительно небольшой размер, гибкий выбор уровня квантизации, совместимость с форматом GGUF и пригодность для запуска на видеокартах среднего класса, ноутбуках и CPU. Ограничения включают компромисс между качеством и степенью сжатия, а также отсутствие в README подробных результатов бенчмарков, данных о мультимодальности и поддерживаемых языках помимо указанного английского. Лицензия — Apache 2.0.

Qwen3.5-9B-AWQ-INT4 — квантизированная версия языковой модели Qwen3.5-9B, разработанной командой Qwen. Это текстовая генеративная модель для работы с английским языком, включая генерацию и продолжение текста, диалоговые сценарии и другие задачи, поддерживаемые базовой моделью через библиотеку Transformers. Модель использует 4-битное квантование весов по схеме AWQ (INT4 weight-only), благодаря чему занимает примерно 7,7 ГБ на диске и требует меньше памяти, чем полноразмерная версия. Для запуска указан контекст до 32 768 токенов и совместимость с vLLM. README не содержит подробностей о внутренней архитектуре базовой модели, точном количестве параметров сверх обозначения 9B, мультимодальности или результатах сравнительных тестов. Ключевое преимущество модели — сниженное потребление памяти при сохранении назначения исходной Qwen3.5-9B. Ограничения включают поддержку только английского языка, а также возможное снижение точности и качества по сравнению с исходной моделью из-за 4-битного квантования. Модель распространяется по лицензии Apache License 2.0 как производная работа Qwen3.5-9B; для использования необходимо учитывать требования лицензии и атрибуции.

btbtyler09/Qwen3.6-27B-GPTQ-4bit — квантизированная версия Qwen/Qwen3.6-27B, разработанная пользователем btbtyler09. Это плотная мультимодальная модель примерно на 27 млрд параметров для работы с текстом и изображениями, включая понимание изображений, генерацию текста и сценарии серверного инференса. Модель совместима с Transformers и ориентирована на использование через vLLM. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, а также полный vision encoder на базе ViT и модуль MTP для speculative decoding. Контекстное окно составляет 262 144 токена. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM; vision encoder, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Размер модели составляет около 21 ГБ вместо примерно 50 ГБ у исходной BF16-версии. Сильной стороной является существенное сокращение требований к хранению и памяти при сохранении мультимодальности и заявленном снижении деградации perplexity: до +1,95% относительно BF16 на wikitext-2-raw-v1, против +8,45% у обычного GPTQ 4-bit. К ограничениям относятся необходимость подходящей аппаратной конфигурации для полного контекста и потенциальные проблемы совместимости с некоторыми версиями vLLM, для которых в README указан обходной патч. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

Qwen3.8-19B-Pruned-GGUF — набор официальных GGUF-квантований модели ewinregirgojr/Qwen3.8-19B-Pruned, опубликованный и квантованный ewinregirgojr. Модель предназначена для локальной генерации текста, диалоговых сценариев, задач рассуждения и function calling на потребительском оборудовании. Поддерживаются Ollama, LM Studio, Jan, llama.cpp, Unsloth, LocalAI и Open WebUI. Модель основана на архитектуре Qwen3.8 и использует 30% структурированной разреженности SparseGPT; заявлено около 18,9 млрд активных ненулевых параметров при сохранении 866 текстовых слоёв. Доступны варианты Q4_0, Q6_K и Q8_0 размером 17,79, 23,20 и 29,30 ГБ соответственно. Максимальная длина контекста заявлена до 262 144 токенов. Указаны английский и китайский языки, текстовая модальность и формат GGUF для локального инференса. В README приведены результаты MMLU 81,5% и GSM8K 86,9%, однако методика и воспроизводимость этих показателей требуют самостоятельной проверки. Сильные стороны — уменьшенный объём весов, возможность запуска на распространённых GPU и оптимизация для локального использования; для Q4_0 заявлена совместимость с видеокартами от 24 ГБ памяти, тогда как более точные варианты требуют больше RAM или VRAM. Ограничения связаны с компромиссом между размером, точностью и требованиями к оборудованию, а также с тем, что разреженность не обязательно ускоряется всеми программными стеками. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — набор квантизированных GGUF-версий базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем vcruz305 для запуска через llama.cpp. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая задачи с рассуждениями; для мультимодальных сценариев требуется отдельный файл mmproj. Поддерживаются английский и китайский языки. Указанный pipeline — text-generation. В основе используется 64-слойный языковой trunk архитектуры qwen35 с гибридом Gated DeltaNet; размер базовой модели — 27B параметров. Доступны квантизации от 2 до 8 бит размером примерно от 9,98 до 26,63 GiB. Версии Q2_K и Q3_K_M используют imatrix-квантизацию, остальные являются обычными K-quants. В файлах намеренно отсутствует MTP-голова для speculative decoding, что уменьшает требования к памяти, но исключает соответствующий режим ускорения. В README также заявлена поддержка контекста до 262 144 токенов при соответствующей конфигурации и аппаратных ресурсах. Сильные стороны набора — возможность запуска 27B-модели на видеокартах с 12, 16, 24 и 32+ GiB памяти, несколько вариантов компромисса между качеством и размером, а также исправленный chat template для корректной работы многошаговых агентов. Ограничения включают зависимость от достаточно новой версии llama.cpp с поддержкой qwen35, отсутствие встроенной vision-компоненты и MTP-головы, а также высокие требования к памяти для старших квантизаций и длинного контекста. Распространение заявлено по лицензии Apache-2.0, унаследованной от официальной модели Qwen.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.