II.6Документация и сопровождение разработки

MMOPD/Qwen3-1.7B-OT3-1ep — языковая модель MMOPD, полученная дообучением Qwen3-1.7B-Base на наборе OpenThoughts3-1.2M. Это плотная авторегрессионная модель Qwen3ForCausalLM с 1,7 млрд параметров, рассчитанная на генерацию текста; заявленное окно контекста — 32 768 токенов. Модель настроена на длинные цепочки рассуждений по математике, программированию и естественным наукам и выдаёт ответы в формате Qwen3 с блоком рассуждений перед ответом. Чекпойнт соответствует примерно одной эпохе обучения: шаг 2 200 из 4 312, около 1,02 эпохи. MMOPD описывает его как универсальную модель-студента для рассуждений и основу для доменных моделей и экспериментов по дистилляции на политике. Отдельных результатов бенчмарков для этой версии не приведено; в README рекомендуется включать режим thinking и использовать сэмплирование. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0. Основана на Qwen3-1.7B-Base и обучена на OpenThoughts3-1.2M; опубликованные сведения не подтверждают отдельные гарантии качества на конкретных задачах.

MMOPD/Qwen3-1.7B-OT3-2ep — плотная языковая модель Qwen3 с 1,7 млрд параметров, дообученная командой проекта MMOPD на OpenThoughts3-1.2M. Это версия после двух эпох обучения, созданная как модель для рассуждений и как отправная точка для разработки специализированных моделей и экспериментов с дистилляцией. Модель использует формат чата Qwen3 и перед ответом выдаёт блок рассуждений; заявлены задачи по математике, программированию и научным вопросам. Контекст — до 32 768 токенов. Модель предназначена для генерации ответов с пошаговыми рассуждениями, решения математических задач, написания и анализа кода, а также ответов на научные вопросы. В README приведены результаты на AIME, LiveCodeBench, IFEval и IFBench; показатели версии 1,7B ниже, чем у указанной там модели 4B. Для использования рекомендуются формат чата Qwen3, включённый режим thinking и сэмплирование вместо жадной генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — языковая instruction-модель для генерации текста, созданная Qwen и представленная в формате GGUF сообществом LM Studio. Она основана на исходной модели Qwen3-30B-A3B-Instruct-2507; GGUF-квантизация выполнена командой LM Studio с использованием llama.cpp версии b6022. Модель предназначена для сценариев, связанных с обработкой и генерацией текста, включая работу через совместимые локальные приложения и инструменты на базе llama.cpp. В названии указана конфигурация 30B-A3B, однако README не содержит подробностей об архитектуре, фактическом количестве активных параметров, размере контекста, поддерживаемых языках, доступных модальностях и конкретных вариантах квантизации. К сильным сторонам относятся instruction-настройка и формат GGUF, удобный для локального запуска в совместимой инфраструктуре. При этом отсутствуют сведения о результатах тестирования и специализированных возможностях, поэтому качество на конкретных задачах по README оценить нельзя. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию. Для модели указана лицензия Apache-2.0.

Ritvik19/Qwen3-345M — компактная языковая модель семейства Qwen3 с примерно 306,6 млн параметров, доступная для использования через библиотеку Transformers. В метаданных Hugging Face она классифицирована как модель генерации текста и имеет контекстное окно до 40 960 токенов. Модель предназначена для генерации продолжений текста и диалоговых сценариев, включая использование в conversational-приложениях. Благодаря небольшому размеру она может быть удобна для локального запуска, прототипирования и встраивания в приложения с ограниченными вычислительными ресурсами. README является автоматически созданной карточкой и не содержит сведений о разработчике, языках, архитектурных деталях, обучающих данных, результатах оценки, назначенной лицензии или конкретных ограничениях. Поэтому качество, безопасность и пригодность модели для специализированных задач требуют самостоятельной проверки перед использованием.

litert-community/Qwen3-4B — это оптимизированный для локального запуска вариант языковой модели Qwen3-4B, разработанный сообществом LiteRT и основанный на контрольной точке Qwen/Qwen3-4B от команды Qwen. Модель предназначена для генерации текста на устройствах, включая настольные GPU и Android-устройства, и интегрируется через LiteRT-LM. В репозитории доступны артефакты с channel-wise INT8-квантованием весов и float32 KV-кэшем размером 5,28 ГБ, а также смешанный вариант TorchAO mixed INT4 размером около 2,54 ГиБ с контекстом 2048 токенов. В INT4-варианте линейные проекции используют блочное INT4-квантование с размером группы 32, эмбеддинги — weight-only INT8, а нормализация, операции редукции и KV-кэш сохраняются в формате с плавающей точкой. Для внимания и работы с кэшем применяются StableHLO composite ops LiteRT-LM. Модель подходит для автономной генерации текста и встраивания в приложения, где важны локальная обработка и сниженные требования к памяти. README указывает английский язык, но не сообщает полный языковой охват, точную архитектуру исходной Qwen3-4B или другие модальности. Производительность зависит от устройства, версии runtime, backend, квантования и теплового состояния; приведённые результаты являются измерениями авторов и не представляют независимую сертификацию. Лицензия — Apache-2.0.

ESarp/Qwen3-4B-AttackTree-DPO — дообученная ESarp языковая модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и 3,7 млрд параметров. В качестве основы указана unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit; для обучения использовались Unsloth и библиотека TRL.

Модель aliRafik/qwen3_4B_capybara_full_ft — дообученная версия языковой модели Qwen3-4B-Instruct-2507, подготовленная aliRafik с использованием Unsloth. Это плотная авторегрессионная модель примерно на 3,7 млрд параметров для генерации текста и диалогов; она принимает текст и выдаёт текст. Метаданные указывают поддержку английского языка и контекстное окно до 262 144 токенов. Модель подходит для диалоговых приложений и генерации ответов на текстовые запросы. В карточке не описаны особенности датасета или специализация дообучения, поэтому нельзя установить, чем её ответы отличаются от базовой Qwen3-4B-Instruct-2507. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/Qwen3-4B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-4B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. В репозитории представлены варианты с квантованием 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и candle. Это позволяет использовать модель с аппаратным ускорением, локальным пользовательским интерфейсом или OpenAI-совместимым сервером, в зависимости от выбранного инструмента. К сильным сторонам относятся несколько уровней квантования и широкая совместимость с экосистемой локального инференса, что помогает выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и ограничениях исходной Qwen3-4B. Лицензия в предоставленных данных не указана.

Это объединённый чекпойнт на базе Qwen3-4B-Base, загруженный Montalte после локальных оценочных запусков. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров и предназначена для генерации текста в диалоговом режиме; заявленная длина контекста составляет 32 768 токенов. Чекпойнт описан как результат процесса Localize-and-Stitch и относится к варианту Plan B, однако карточка не раскрывает детали объединения, обучения или результаты оценки. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

OP12138/qwen3-4b-opsd-frozent — чат-модель на архитектуре Qwen3, дообученная с помощью TRL и предназначенная для генерации текста в диалоговом формате. В README модель названа opsdep2resume, однако сведения о специальной области применения или конкретных данных обучения не приводятся. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors. Заявленная длина контекста — 40 960 токенов. Пример запуска использует библиотеку Transformers и генерирует ответ на текстовый вопрос. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны. Качество, ограничения по применению и условия распространения не описаны.

Это дообученная методом QLoRA плотная языковая модель семейства Qwen3 с 3,7 млрд параметров, созданная Khazar AI на основе unsloth/Qwen3-4B-Thinking-2507. Модель обучали на примерах рассуждений, подготовленных с помощью учителя Qwen3.6-plus, чтобы получать более краткие и структурированные решения сложных задач. Модель предназначена для диалоговой генерации текста и сценариев, где нужны разбор задачи, план алгоритма, оценка сложности и псевдокод. В карточке приведено сравнение на бенчмарке Multi-Domain-Reasoning-Benchmark из 100 вопросов: результат модели — 75,64 против 73,73 у базовой Qwen3-4B-Thinking-2507. Поддерживается контекст до 262 144 токенов; карточка указывает английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Результат бенчмарка основан на небольшой выборке и не гарантирует превосходства на других задачах. Качество ответов и точность рассуждений следует проверять в целевом сценарии.

continuum-ai/qwen3.5-0.8b-general-forged — компактная плотная языковая модель для генерации текста и диалогов, созданная Continuum AI на основе Qwen/Qwen3.5-0.8B. Модель дообучена на 500 шагах для общих задач; README сообщает о цикле pruning → train, но доля удалённых голов указана как 0%. Архитектура — Qwen3_5ForCausalLM, размер — 581,4 млн параметров, родной контекст — 262 144 токена. Модель предназначена для локального запуска на потребительском оборудовании, включая настольные компьютеры и ноутбуки; в карточке также заявлена совместимость с мобильными и встроенными сценариями. Указан английский и китайский языки, а метаданные характеризуют модель как многоязычную. README приводит самоотчётный результат perplexity 18,86 и сравнение с базовой моделью, однако подтверждение ограничено одним бенчмарком и одним проверенным устройством. Лицензия — Apache-2.0.

Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0-i1-GGUF — GGUF-квантизированная версия модели Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0, разработанной prithivMLmods и квантизированной mradermacher. Модель создана на основе многоэтапного supervised fine-tuning и ориентирована на генерацию текста, рассуждения, логический анализ, решение задач и математику. В карточке также указана поддержка vision, однако сведения о конкретных визуальных возможностях и необходимых mmproj-файлах приведены только в общем виде. Модель предназначена для локального запуска и инференса через совместимые инструменты для GGUF, включая llama.cpp-подобные среды и vLLM; заявлена совместимость с контекстом до 32 тысяч токенов. Указан английский язык. Архитектура, точное количество параметров помимо обозначения 4B, результаты тестирования и сравнительные показатели в README не описаны, поэтому качество рассуждений и мультимодальной обработки следует проверять на собственных задачах. Доступно множество вариантов квантизации с размером примерно от 1,5 до 2,5 ГБ, что облегчает запуск на устройствах с ограниченными ресурсами. При этом наиболее компактные варианты могут заметно уступать по качеству: для некоторых прямо отмечены очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; условия использования базовой модели отдельно не раскрыты в предоставленных данных.

StephYang выпустил текстовый чекпойнт Qwen3.5-4B, дообученный методом on-policy distillation (OPD) на наборе tmax15k Harbor SWE. Это плотная авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит объединённый экспорт весов в safetensors, сохранённых в bfloat16. Модель предназначена для генерации текста в диалоговом формате и задач, связанных с разработкой программного обеспечения. Чекпойнт получен после одной эпохи и 35 шагов обучения. Для загрузки README указывает Transformers версии 5.6.0 или новее. Лицензия — Apache 2.0. Это текстовая версия Qwen3.5; возможности понимания изображений базовой мультимодальной модели к этому чекпойнту не следует автоматически приписывать. Карточка не приводит результатов оценки качества, поэтому пригодность для конкретных SWE-сценариев требует проверки.

Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — модель, разработанная Jackrong на основе плотной архитектуры Qwen3.5-9B. Она дообучена методом Supervised Fine-Tuning с применением LoRA и библиотеки Unsloth на данных, полученных дистилляцией рассуждений из взаимодействий с Claude 4.6 Opus, а также на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. Распространяется в формате GGUF и предназначена для использования с llama.cpp и совместимыми инструментами. Основное назначение модели — решение сложных задач с пошаговым рассуждением, включая научные, математические и инструкционные сценарии. Обучение ориентировано на структурирование анализа, разбиение задачи на подзадачи, проверку ограничений и формирование итогового ответа. В заявленном формате модель использует структуру <think>...</think> перед финальным ответом и стремится сокращать избыточные повторения в рассуждениях. Известно, что модель имеет 9 млрд параметров и поддерживает английский и китайский языки. В метаданных также заявлены мультимодальные возможности image-text-to-text и обработка изображений, однако в описании процесса обучения итоговая модель обозначена как text-only, поэтому практическую поддержку изображений следует проверять отдельно. Размер контекста, конкретная GGUF-квантизация и результаты независимых бенчмарков не указаны. Лицензия — Apache-2.0.

Qwen3.5-9B MTPLX Optimized Speed — языковая модель семейства Qwen3.5, опубликованная Youssofal для быстрого локального вывода на компьютерах Apple Silicon. Это 9-миллиардная плотная модель генерации текста с поддержкой диалогов; основная часть весов представлена в 6-битном формате MLX, а нативные MTP-головы сохранены в BF16 для спекулятивного декодирования через MTPLX. Модель предназначена для локальных ответов на запросы и генерации текста с ускорением за счёт предсказания нескольких токенов: MTP-головы предлагают черновые токены, которые затем проверяет основная модель. В README приведены результаты измерений в MTPLX на Apple Silicon: для режима D2 указана скорость 101,32 токена в секунду. Для запуска требуется MTPLX; README описывает совместимый с OpenAI локальный сервер и рекомендуемые настройки декодирования. Это оптимизированная 6-битная сборка, а не полноточный чекпойнт; заявленные результаты относятся к указанному runtime-сценарию на Apple Silicon. Репозиторий распространяется по лицензии Apache-2.0.

RobinsonLabs Qwen3.5-REAP-212B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, производной от OpenMOSE/Qwen3.5-REAP-212B-A17B. Базовая модель получена сокращением числа экспертов Qwen3.5-397B-A17B-A17B на 48% методом REAP и содержит 212 млрд параметров всего, из которых около 17 млрд активны. Публикацию подготовила RobinsonLabs. Модель предназначена для генерации текста и локального запуска через совместимое ПО, включая llama.cpp. Архитектура qwen35moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, 267 экспертов MoE и размер скрытого состояния 4096. Представлен только текстовый путь, без vision mmproj; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы, связанные со взрослым и творческим контентом. При этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальным противоправным действиям. Доступны imatrix-взвешенные варианты от Q5_K_M размером около 150 ГБ до IQ2_XXS размером около 56 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ограничения включают очень большой объём файлов, зависимость качества от выбранной квантизации и маркировку not-for-all-audiences. Лицензия Apache-2.0 унаследована от базовой модели.

Qwen3.6-27B-Ablit — производная модель на основе Qwen/Qwen3.6-27B, подготовленная автором sci4ai методом AblitMD. Это плотная авторегрессионная языковая модель для диалогов и генерации текста; метаданные указывают 22,3 млрд параметров и контекст до 262 144 токенов. Репозиторий содержит веса BF16 в safetensors и GGUF, а отдельные варианты коллекции включают более компактные квантизации. Модель изменена для ослабления отказов на запросы из 41 категории: автор вычислял отдельные направления отказа для категорий на ранних слоях и общее направление на поздних. Она предназначена для локального запуска и текстовых диалогов, когда требуется меньше отказов, чем у исходной модели. Шаблон чата Qwen3 ChatML сохранён; поведение профилировалось в режиме non-thinking. Ослабление отказов не добавляет модели новых знаний или навыков и может ослабить следование инструкциям. При включении режима thinking поведение может отличаться; квантизированные варианты могут несколько уступать по качеству BF16. Сведения о лицензии в предоставленных данных отсутствуют.

Jianqiao1/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-MoQ-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451, подготовленный Jianqiao1. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp, с выбором между несколькими вариантами размера и качества. В основе лежит модель Qwen3.6 с 27 млрд параметров; точные сведения об архитектуре, поддерживаемых языках, модальностях и максимальной длине контекста в README не указаны. Квантизация MoQ использует смешанную точность с учётом структуры и чувствительности тензоров, 128-сегментную importance matrix и сохранение крупных MTP-тензоров в повышенной точности. Доступны варианты от 3.2 до 5.1 BPW, объёмом примерно от 10,8 до 17,5 ГБ. MTP-MoQ-4.8 обозначен как сбалансированный вариант, MTP-MoQ-5.1 — как наиболее качественный в обычной серии, а NVFP4 предназначен прежде всего для тестирования ускорения на GPU Blackwell. Сильной стороной является гибкий компромисс между размером, качеством и скоростью, подтверждённый оценками на WikiText-2: для более крупных вариантов наблюдается снижение PPL и KLD. Ограничения связаны с потерями от квантизации по сравнению с BF16, зависимостью производительности от оборудования и тем, что NVFP4 может обеспечивать лучшую скорость предварительного вычисления на RTX 5090, но уступать обычному MoQ-4.8 по качеству при сопоставимом размере. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.6-27B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.6-27B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx-vlm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для локального применения в сценариях генерации текста и обработки изображений с текстом, что следует из указанного типа конвейера image-text-to-text. Она сохраняет основу оригинальной Qwen3.6-27B, однако README не содержит сведений о точной архитектуре, числе параметров исходной модели, поддерживаемых языках и размере контекстного окна. Ключевые преимущества — сниженное потребление памяти по сравнению с полноразмерной версией и оптимизация под экосистему Apple Silicon, что делает модель подходящей для локального использования через совместимое программное обеспечение. Ограничениями являются потери качества, возможные при 6-битном квантовании, зависимость производительности от устройств Apple Silicon и отсутствие в предоставленных данных подробных характеристик качества и языковой поддержки. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-MLX-8bit — это 8-битная квантованная версия модели Qwen3.6-27B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_vlm, а модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Модель предназначена для задач генерации текста и обработки изображений с текстом, что отражено в типе конвейера image-text-to-text. Она основана на Qwen3.6-27B и имеет размер 27 млрд параметров; README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, наборе модальностей и результатах тестирования. Ключевая особенность версии — 8-битное представление, снижающее требования к памяти по сравнению с полноразмерной моделью и ориентированное на локальный запуск на Apple Silicon. Сильными сторонами являются локальное использование, оптимизация под экосистему MLX и поддержка сценариев, объединяющих изображения и текст. Ограничения, включая возможное снижение точности из-за квантования, зависят от конкретной задачи и в README не раскрыты; также отсутствуют подробности о производительности и системных требованиях. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-abliterated-NVFP4-MTP — языковая модель на базе Qwen3, созданная сообществом THe-Plague на основе моделей Qwen и производных Huihui AI и sakamakismile. Она предназначена для генерации текста и диалоговых сценариев, включая работу с длинным контекстом, а также для высокоскоростного инференса на видеоускорителях NVIDIA Blackwell, в частности DGX Spark с чипом GB10. Модель поддерживает английский и китайский языки, использует библиотеку vLLM и доступна для задач text generation. Архитектура построена по схеме Mixture of Experts: общий объём составляет 35 млрд параметров, из которых при обработке активны около 3 млрд. Основные веса квантизированы в NVFP4 и занимают примерно 21,9 ГБ, а слои MTP (Multi-Token Prediction) хранятся в BF16 и занимают ещё около 1,6 ГБ. Общий размер — около 23,5 ГБ, контекст — до 131 072 токенов. MTP предназначены для speculative decoding; на одном DGX Spark заявлена скорость до 95,2 токена в секунду при MTP=3. К сильным сторонам относятся сочетание NVFP4-квантизации и speculative decoding, высокая скорость генерации, поддержка длинного контекста и оптимизация под NVIDIA Blackwell. Abliteration удаляет направление отказа в представлениях модели, поэтому поведение и ограничения безопасности могут отличаться от исходной Qwen3.6; модель позиционируется как uncensored. Производительность зависит от оборудования, конфигурации vLLM и параметров MTP, причём в README оптимальным указан режим MTP=3, а MTP=4 может снижать скорость. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели, разработанной на базе lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled и подготовленной mradermacher. Модель основана на архитектуре Mixture-of-Experts, имеет 35 млрд параметров с архитектурой, в которой активируется около 3 млрд параметров, и предназначена для генерации текста и задач, требующих рассуждений. Обучение выполнено методом distillation на наборе reasoning-distill-opus-4-7-max-sft; среди заявленных технологий также указаны LoRA и Unsloth. Модель ориентирована на англоязычные сценарии, включая диалоговую генерацию, решение задач с рассуждениями и другие приложения text-generation. README также обозначает её как vision model, однако подробности о поддерживаемых визуальных входах, мультимодальных возможностях, размере контекста и языках, кроме английского, не приведены. Для запуска доступны варианты GGUF-квантизации i1 с разными уровнями сжатия и размерами файлов; более компактные варианты требуют меньших ресурсов, но могут заметно уступать по качеству, тогда как IQ-квантизации в README часто рекомендуются по сравнению с аналогичными стандартными вариантами. Основные ограничения — неполные сведения о точных характеристиках, контекстном окне, требованиях к оборудованию и результатах оценки качества, а также потенциальная потеря качества при низких уровнях квантизации. Указана лицензия Apache-2.0.

Qwen3.8-27B-Abliterated-SFT-i1-GGUF — квантованная GGUF-версия модели azukivc/Qwen3.8-27B-Abliterated-SFT, подготовленная mradermacher. Это 27-миллиардная модель, дообученная методом supervised fine-tuning (SFT) и подвергнутая abliteration. В карточке указана поддержка английского языка и библиотеки Transformers; модель предназначена прежде всего для генерации текста и запуска в совместимых средах, включая vLLM. Модель заявлена как vision-модель, поэтому для обработки изображений могут потребоваться дополнительные mmproj-файлы из статического репозитория. Доступны варианты GGUF с различными уровнями квантования от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ. Среди представленных вариантов i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества; качество и скорость зависят от выбранного типа квантования и оборудования. README не содержит данных о размере контекста, результатах тестирования, точных архитектурных особенностях или подробном перечне поддерживаемых языков и сценариев. Ограничениями также являются возможная потеря качества при низком уровне квантования и необходимость дополнительных файлов для визуального ввода. Модель распространяется по лицензии Apache-2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-6bit — текстовая языковая модель, созданная mlasli на основе Qwen/Qwen3.8-27B. Это версия v2.1.0 с изменённым поведением отказов и ответов, преобразованная в формат MLX для запуска через mlx-lm на компьютерах с Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев и задач, где требуется более прямое следование запросу. Модель содержит около 27 млрд параметров и использует групповое 6-битное квантование с размером группы 64. Размер файлов составляет примерно 21,9 ГБ. Репозиторий поддерживает только текстовый ввод: при конвертации удалена vision tower, поэтому обработка изображений недоступна. Многоцелевое предсказание токенов MTP также не сохранено, из-за чего инференс выполняется одной основной головой и может быть медленнее сборок с поддержкой MTP. В карточке указаны английский язык и контекстная длина не приведена. Сильной стороной является уменьшенный объём по сравнению с BF16-версией при сохранении возможностей 27B-модели и удобная интеграция с MLX. По данным тестов, 6-битная версия немного уступает BF16 по прямоте ответов, а режим thinking может чаще приводить к уклончивым или пустым ответам; для заявленного поведения рекомендуется отключать thinking. Abliteration снижает или удаляет исходное safety-выравнивание, поэтому модель требует осторожного применения. Лицензия — Apache-2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-8bit — текстовая 8-битная MLX-квантизация модели Qwen/Qwen3.8-27B, разработанная mlasli. Это версия v2.1.0 с изменённым выравниванием, ориентированная на более прямые ответы и сниженное количество отказов. Модель предназначена для генерации текста, диалогов, ролевых сценариев и других задач локального inference на устройствах Apple Silicon через mlx-lm. В карточке указан английский язык; сведения о размере контекста отсутствуют. Модель содержит около 27 млрд параметров, занимает примерно 28,6 ГБ и использует групповую 8-битную квантизацию с размером группы 64. Репозиторий содержит только языковую часть модели: vision tower удалён, поэтому обработка изображений не поддерживается. MTP-голова также не сохраняется, из-за чего inference выполняется одной головой и может быть медленнее сборок с поддержкой speculative decoding. Сильной стороной является близкое к исходной BF16-версии качество при существенно меньшем размере, а также высокая доля прямых ответов: в приведённом тесте thinking-OFF модель дала 90% прямых ответов на вредоносные запросы и 100% на безвредные. При включённом thinking поведение менее стабильно: возрастает доля уклончивых и пустых ответов. Abliteration удаляет защитное выравнивание, поэтому модель требует ответственного применения. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-MLX-bf16 — текстовая сборка для генерации ответов и диалогов, опубликованная donedynamics для Apple Silicon. Она создана конвертацией в формат MLX из trohrbaugh/Qwen3.8-27B-heretic-ara; исходная модель относится к семейству Qwen3.8 и представляет собой abliterated-производную Qwen/Qwen3.8-27B. Сборка использует библиотеку MLX и веса bfloat16 без квантизации; размер весов составляет около 50 ГБ. В шаблоне чата доступны режим рассуждений и настройка его интенсивности. Модель принимает текст и генерирует текст. Несмотря на мультимодальность исходной Qwen3.8-27B, эта сборка содержит только языковую часть и не принимает изображения или видео. Удаление отказов унаследовано от базовой модели; сама конвертация не добавляет выравнивание и не изменяет это поведение. Разработчик рекомендует оценить модель и при необходимости настроить фильтрацию перед использованием с пользователями. По README, bf16-сборка медленнее и требует больше памяти, чем квантизированные варианты; приведённые показатели скорости и памяти получены на одной конфигурации и одном коротком запросе, поэтому служат лишь ориентиром. Лицензия — Apache-2.0.

Это квантованная мультимодальная модель Qwen3.8-27B, разработанная на основе Qwen/Qwen3.8-27B и аблитерированной версии huihui-ai/Huihui-Qwen3.8-27B-abliterated. Релиз lued сохраняет архитектуру и возможности исходной модели, изменяя числовое представление весов. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для запуска через vLLM на видеокартах архитектуры Ampere, в частности в конфигурации с двумя RTX 3090. Используется квантование W8A16: веса основных матричных умножений представлены в INT8, а активации — в FP16 или BF16. Применена симметричная data-free RTN-квантизация с размером группы 128; квантировано 400 GEMM-операций. В BF16 сохранены vision tower, lm_head, MTP-компоненты и рекуррентные GDN-gates. Модель поддерживает vision-компоненты, native context, thinking controls и speculative decoding через MTP, однако точный размер контекста, список языков и полные архитектурные характеристики в карточке не указаны. По измерениям на коротком наборе из 467 позиций средний KLD относительно собственного BF16-учителя составил 0,000705, а совпадение top-1 предсказаний — 98,72%; эти показатели характеризуют числовое отклонение после квантизации, но не заменяют полноценную оценку качества генерации, программирования, инструментального использования или длинного контекста. Аблитерация унаследована от базовой модели и направлена на удаление отказов; исходная карточка описывает этот метод как экспериментальный и proof-of-concept. Размер файлов весов составляет 29,44 GiB. Модель распространяется по лицензии Apache-2.0.

majentik/Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной для Apple Silicon с использованием MLX и mlx-lm. Квантование выполнено методом affine с размером группы 64: текстовая часть модели использует 5-битное представление, а vision tower и projector сохранены в формате BF16. Модель предназначена для генерации текста и обработки задач image-text-to-text, включая сценарии, где требуется анализ изображений и формирование текстового ответа. Модель рассчитана на локальный запуск через mlx-lm на устройствах Apple Silicon. В README не указаны точное число параметров исходной архитектуры сверх обозначения 27B, поддерживаемые языки и размер контекстного окна. Среди доступных результатов оценки приведены 0,6050 на ARC Easy и 0,5350 на HellaSwag; также сообщается о прохождении проверки связности генерации без пустых ответов, циклов повторения и артефактов специальных токенов. Квантование снижает требования к памяти по сравнению с полной точностью, но может несколько ограничивать качество относительно исходной модели; характеристики производительности и совместимости зависят от конкретного устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной Qwen/Qwen3.8-27B.

mradermacher/Qwen3.8-27B-thinkingcap-abliterated-i1-GGUF — набор квантизованных GGUF-версий модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated. Квантизацию выполнил mradermacher; исходная модель связана с датасетом hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений и задач, где важны эффективное мышление и экономное использование токенов. В метаданных также указана поддержка изображений, однако для работы с визуальными входами могут потребоваться отдельные файлы mmproj из статического репозитория. Модель относится к семейству Qwen и содержит около 27 миллиардов параметров, но точная архитектура и размер контекстного окна в README не указаны. Заявлен английский язык. Репозиторий предоставляет варианты квантизации i1 с различными форматами и размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6. Более качественные варианты требуют больше памяти, тогда как компактные версии позволяют снизить требования к оборудованию, но могут заметнее терять качество; конкретные характеристики скорости и точности не приведены. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, подробного описания базовой архитектуры, контекстного окна или рекомендаций по аппаратным требованиям, поэтому пригодность для конкретных задач следует проверять экспериментально.