II.6Документация и сопровождение разработки

Карточка модели electroglyph/Qwen3-4B-Instruct-2507-uncensored-v2 на Hugging Face совпадает с карточкой Manitec/Qwen3-4B-Instruct-2507-uncensored-v2, поэтому описание составлено по ней. Manitec выпустил Qwen3-4B-Instruct-2507-uncensored-v2 — минимально дообученную версию Qwen3-4B-Instruct-2507, предназначенную для диалоговой генерации текста. Автор заявляет, что модель почти не отказывает в ответах, но по умолчанию не должна быть чрезмерно оскорбительной и лучше следует подробным инструкциям. Модель использует плотную архитектуру Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. Она работает с текстом, поддерживает чат и интерфейс вызова инструментов; README описывает дообучение в течение двух эпох с низкой скоростью обучения. По метаданным, модель распространяется в формате safetensors под лицензией Apache-2.0. Заявления о поведении основаны на описании автора; карточка приводит сравнение perplexity и KL divergence с родительской моделью, но не содержит полной методики или независимой оценки. Дообучающий датасет не опубликован, поэтому его состав и возможное влияние на ответы проверить нельзя.

TeichAI/Qwen3-4B-Thinking-2507-Gemini-3-Flash-VIBE — дообученная плотная языковая модель семейства Qwen3 с 3,7 млрд параметров, созданная на базе unsloth/Qwen3-4B-Thinking-2507. Модель обучена на 200 примерах агентного программирования, сгенерированных Gemini 3 Flash Preview, и предназначена для генерации текста в диалоге и решения задач, связанных с программированием и агентными сценариями. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и имеет интерфейс для вызова инструментов. Для обучения использовались Unsloth и библиотека Hugging Face TRL; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Набор из 200 обучающих примеров ограничен по объёму, поэтому качество на широком спектре задач не следует считать подтверждённым.

Qwen3-4B-Thinking-2507-MLX-6bit — это 6-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507 для генерации текста. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локального использования в задачах генерации текста и рассуждений, однако конкретные поддерживаемые языки и размер контекста в README не указаны. Ключевая характеристика модели — квантование до 6 бит, уменьшающее требования к памяти по сравнению с полноразмерной версией и подходящее для запуска на совместимом оборудовании Apple. Ограничения включают возможную потерю качества из-за квантования, а также типичные для языковых моделей риски неточных, вредных или вводящих в заблуждение ответов; сведения о производительности и результатах тестирования отсутствуют. Модель распространяется по лицензии Apache-2.0.

aufklarer подготовил текстовую чат-версию Qwen3.5-0.8B для локального запуска на устройствах Apple Silicon через MLX. Это плотная гибридная архитектура Qwen3.5 с 24 слоями: 18 слоёв DeltaNet с линейным вниманием и 6 слоёв GatedAttention. В репозитории опубликованы варианты квантования INT4, INT5 и INT8; размер модели в карточке указан как 752 млн параметров, а файлы занимают от 424 до 800 МБ. Модель принимает текст и генерирует текст, поддерживает языки, перечисленные в метаданных, включая русский, английский и китайский. Модель предназначена для локального чата и генерации текста, в том числе структурированных ответов в формате JSON. По измерениям автора, INT8 близок к bf16 по качеству; INT4 заметно чаще нарушает формат JSON, поэтому для таких ответов рекомендуется INT5 или INT8. Vision tower и голова многотокенного предсказания исключены, поэтому эта сборка не обрабатывает изображения. Для INT5 и INT8 требуется совместимый runtime, который читает параметры квантования из config.json; имена весов также несовместимы напрямую с mlx-lm. Лицензия — Apache-2.0.

ente-ai/Qwen3.5-0.8B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, основанной на Qwen/Qwen3.5-0.8B. Модель разработана в экосистеме Qwen, а данный вариант опубликован ente-ai с использованием подходов Unsloth Dynamic 2.0. Она предназначена для локального запуска, прототипирования, исследовательских и прикладных задач, а также специализированного дообучения. Модель представляет собой каузальную языковую модель со зрительным энкодером и поддерживает обработку текста и изображений. Она содержит 0,8 млрд параметров, 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Артефакты совместимы с инструментами локального и серверного инференса, включая Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, длинный контекст, возможность локального использования и потенциально высокая эффективность инференса. Из-за небольшого масштаба модель прежде всего ориентирована на прототипирование, task-specific fine-tuning и разработку; её возможности могут быть ограничены по сравнению с более крупными моделями в сложных задачах. Модель распространяется по лицензии Apache-2.0.

onnx-community/Qwen3.5-0.8B-ONNX — это ONNX-версия постобученной мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и специализированного дообучения. Веса и конфигурация совместимы с Hugging Face Transformers.js и ONNX Runtime. Модель представляет собой авторегрессионную языковую модель с vision encoder и содержит около 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть включает 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Благодаря небольшому размеру модель ориентирована на относительно эффективный запуск и разработку, но по возможностям и качеству уступает более крупным моделям, а заявленные мультимодальные и языковые характеристики требуют проверки на конкретных задачах. Модель распространяется по лицензии Apache-2.0. README не содержит полного описания ограничений, требований к аппаратному обеспечению и подробных результатов именно для всех поддерживаемых сценариев.

insraq публикует версию EmperoAI Qwen3.8-4B с ослабленным отказом от ответов, созданную инструментом Heretic v1.4.0. В основе — объединение моделей empero-ai/Qwen3.8-4B и Qwen/Qwen3.5-9B; карточка описывает исходную Qwen3.8-4B как дистиллированную модель для рассуждений, математики и следования инструкциям. Репозиторий содержит веса в формате Safetensors для Transformers; метаданные указывают архитектуру Qwen3.5 с плотной моделью и диалоговые возможности. Модель предназначена для диалоговой генерации текста, ответов на инструкции и задач рассуждения. В README указано, что версия рассчитана на текст; визуальные возможности базовой архитектуры не оценивались. Исходная Qwen3.8-4B описана как модель на 4 млрд параметров с контекстом 262 144 токена, однако для данного репозитория эти характеристики прямо не подтверждены. README приводит результаты сравнения отказов: 6 из 100 против 99 из 100 у исходной модели, а также отмечает риск повторяющихся циклов при жадной генерации. Лицензия — Apache-2.0. Модель может выдавать ответы на запросы, от которых исходная версия отказывалась; качество и поведение на визуальных задачах не оценивались в README.

daniloreddy/Qwen3.5-4B_GGUF — набор GGUF-квантизированных версий языковой модели Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска на потребительском оборудовании, мобильных и периферийных устройствах, а также системах с ограниченным объёмом памяти. Она совместима с llama.cpp и связанными экосистемами, включая LM Studio, Jan и Text Generation WebUI. В репозитории представлены варианты FP16, Q8_0, Q5_K_M, Q4_K_M и Q4_K_S, полученные из официальных весов FP16 с использованием llama-quantize и K-квантизации. Размер базовой модели составляет 4 млрд параметров. Вариант Q4_K_M рекомендован как компромисс между скоростью и качеством, Q4_K_S ориентирован на минимальное потребление памяти и высокую пропускную способность, а FP16 сохраняет максимальную точность исходных весов. Качество рассуждений, связность и точность ограничены масштабом базовой модели; сведения о поддерживаемых языках, модальностях и исходном размере контекста в README не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B SWE-OPD tmax500 baseline step 105 — текстовый чекпойнт Qwen3.5-4B, дообученный методом on-policy distillation на наборе Harbor SWE. Его разработчик — StephYang; модель предназначена для генерации текста и диалоговых сценариев, в частности для задач, связанных с программной инженерией. Чекпойнт обучался 3 эпохи, до 105-го шага, на выборке из 423 обучающих и 30 валидационных примеров. Архитектура — плотная причинная языковая модель Qwen3_5ForCausalLM; размер — 3,4 млрд параметров, формат весов — bfloat16 Safetensors, библиотека — Transformers. Контекстное окно — 262 144 токена. Это текстовый вариант базовой модели, экспортированный из FSDP-актора в объединённый файл весов. Для загрузки README указывает Transformers версии 5.6.0 или новее. Лицензия — Apache-2.0. Карточка описывает специализированное обучение на SWE-данных, но не приводит результаты оценки качества; заявленные характеристики базовой модели, включая понимание изображений, к этому текстовому чекпойнту не следует автоматически относить.

AtomicChat/Qwen3.5-9B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная путём самостоятельного квантования базовой модели z-lab/Qwen3.5-9B-DFlash. Квантование выполнила Atomic Chat на основе оригинальных весов с использованием матрицы важности для калибровки. Модель рассчитана на локальный и полностью офлайн-запуск, в том числе через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Модель предназначена для диалоговой генерации текста и других сценариев, поддерживаемых text-generation. В репозитории указаны 1,3 млрд параметров, 6 слоёв и контекст до 262 144 токенов. Архитектура представляет собой плотный декодер с гибридным вниманием: скользящее окно 4096 токенов сочетается с глобальным вниманием; используются 32 attention heads и 8 KV heads. Модель работает только с текстом, сведения о поддерживаемых языках отсутствуют. Доступен квант Q8_0 размером около 1,4 ГБ, заявленный как практически без потерь. К сильным сторонам относятся небольшой размер, возможность автономного запуска, длинный заявленный контекст и калибровка квантов с помощью importance matrix, призванная сохранить качество при сниженной точности. Ограничения — отсутствие информации о качестве на бенчмарках, языках, рекомендуемых параметрах генерации и фактической производительности, а также необходимость применять chat template Qwen3.5 через параметр --jinja; без него возможна некорректная структура диалога. Исходная модель выпущена под лицензией Apache 2.0, квантованная версия подготовлена Atomic Chat.

shawnw3i/Qwen3.6-27B-AWQ-MTP — квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в README она классифицирована как image-text-to-text. Вариант ориентирован на запуск через vLLM и ускоренное инференс-развёртывание. Модель имеет размер 27 млрд параметров и использует квантизацию AWQ. Поддерживаются ядро AWQ Marlin с автоматической конвертацией vLLM во время выполнения и MTP speculative decoding, позволяющее ускорять генерацию за счёт спекулятивного декодирования. Для запуска в README указан максимальный размер контекста 65 536 токенов, а также reasoning parser qwen3. Заявлена производительность более 110 токенов в секунду на одном ускорителе A800 80 GB при использовании vLLM 0.21.0, MTP и FP8 KV cache. Сильные стороны модели — сочетание относительно крупного размера, AWQ-квантизации, поддержки Marlin и встроенного MTP для эффективного инференса. README не содержит сведений о языках, точных возможностях мультимодального ввода, результатах бенчмарков, требованиях к другим конфигурациям оборудования или ограничениях качества. Модель распространяется по лицензии Apache-2.0.

Это семейство из четырёх вариантов модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP, подготовленное esatapedico в формате GGUF. Репозиторий объединяет NVFP4-веса основного трансформера с вариантами квантования выходного слоя, эмбеддингов и встроенной MTP-головы; размеры файлов составляют примерно 15,49–19,65 ГБ. Базовая архитектура — плотная модель на 27 млрд параметров с 64 слоями и гибридной схемой Gated DeltaNet и Gated Attention; исходный контекст — 262 144 токена. Модель предназначена для генерации текста и диалогов, а встроенная MTP-голова позволяет использовать спекулятивное декодирование в llama.cpp. Основные GGUF-файлы текстовые; для анализа изображений требуется отдельно подключить совместимый vision projector из указанного в карточке репозитория DavidAU. Карточка описывает английскую и многоязычную поддержку. NVFP4-веса рассчитаны на экономию памяти, а варианты с более точным выходным слоем призваны уменьшить ошибки квантования; автор приводит лишь предварительные наблюдения, а не полноценные бенчмарки. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Abliterix-EGA-abliterated-i1-GGUF — набор квантованных GGUF-файлов модели, созданный mradermacher на основе jenerallee78/Qwen3.6-35B-A3B-Abliterix-EGA-abliterated. Модель относится к семейству Qwen и использует MoE-архитектуру с заявленным размером 35B параметров и 3B активных параметров; в описании также указаны Expert-Granular Abliteration и мультимодальная поддержка. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач image-text-to-text с анализом изображений. Заявлены английский и китайский языки. Распространяется в формате GGUF с множеством вариантов квантования от очень компактных IQ1 до более качественных Q6_K; доступны imatrix-кванты, а для баланса размера, скорости и качества автор рекомендует i1-Q4_K_M, тогда как i1-Q4_K_S обозначен как оптимальный по соотношению характеристик. К сильным сторонам относятся локальный запуск через совместимые с GGUF инструменты, широкий выбор вариантов квантования и мультимодальные возможности исходной модели. Ограничения включают возможное снижение качества на низких уровнях квантования, отсутствие в предоставленных данных сведений о размере контекста, производительности и результатах бенчмарков, а также особенности abliterated-версии, которые могут влиять на поведение модели и безопасность ответов. Лицензия — AGPL-3.0.

armand0e/Qwen3.6-35B-A3B-Fable-5-Distill — мультимодальная модель семейства Qwen3.5 MoE, дообученная armand0e на базе Qwen/Qwen3.6-35B-A3B. Она предназначена для диалогов, анализа изображений и агентных сценариев программирования; поддерживает интерфейс вызова инструментов. В метаданных указан английский язык, архитектура Qwen3_5MoeForConditionalGeneration и формат safetensors. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и изображения и генерирует текст. Репозиторий распространяется по лицензии Apache-2.0. README не сообщает размер контекстного окна или конкретные результаты оценки качества.

jedisct1/Qwen3.6-35B-A3B-q3-mlx — это конвертированная в формат MLX версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных сценариев вывода с использованием библиотеки mlx-lm, включая диалоговое взаимодействие через chat template. Модель доступна для использования на платформах и в средах, поддерживающих MLX. В README указано обозначение 35B-A3B, однако подробности об архитектуре, количестве активируемых параметров, модальностях, поддерживаемых языках и размере контекста не приведены. Для загрузки и генерации требуется mlx-lm версии 0.31.2 или совместимая версия; предусмотрена работа с токенизатором и шаблоном чата, если он задан. Сильной стороной модели является адаптация к экосистеме MLX, что упрощает её локальный запуск в соответствующих средах. Ограничения и требования к аппаратному обеспечению, а также результаты тестирования производительности в README не указаны. Лицензия — Apache-2.0.

Nickyang/Qwen3.6-35B-A3B-Razor-28B-A4B-E192of256 — производная мультимодальной модели Qwen3.6-35B-A3B, созданная с помощью RAZOR, метода сокращения экспертов без обучения. В каждом MoE-слое оставлено 192 из 256 маршрутизируемых экспертов; общее число параметров составляет 27,7 млрд, из них около 4 млрд активируются на токен. Веса сохранены из базовой модели, без градиентных обновлений и дополнительного обучения для восстановления качества. Модель предназначена для диалоговой генерации текста и интерфейса вызова инструментов. Карточка базовой модели указывает мультимодальные возможности Qwen, включая анализ изображений, однако README этого чекпойнта описывает прежде всего генерацию текста. По README, веса представлены в bfloat16 и для запуска требуется версия Transformers с реализацией qwen3_5_moe. Лицензия — Apache-2.0. Сокращение пула экспертов уменьшает объём хранения экспертных весов, но является потерей информации; вычисления на токен, согласно README, практически не меняются. Изменения могут затрагивать разнообразие, форматирование и завершение ответов, а поведение за пределами конечного калибровочного корпуса не охарактеризовано.

Это GGUF-сборка модели Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved, подготовленная cvgro с применением смешанной квантизации APEX. В модели сохранены 20 слоёв MTP для спекулятивного декодирования; README заявляет о возможном ускорении генерации на 20–50% при соответствующих настройках llama.cpp. Модель основана на мультимодальной MoE-модели Qwen3.6-35B-A3B и принимает текстовые и визуальные запросы, выдавая текст. Сборка предназначена для диалога, генерации текста и работы с изображениями. Базовая модель была модифицирована Heretic и MPOA для снижения числа отказов, а эта версия дополнительно упакована в GGUF с вариантами APEX, включая F16. README утверждает, что APEX сохраняет качество при меньшем размере файлов, но приведённые таблицы сравнений в карточке опущены. Репозиторий распространяется по лицензии Apache-2.0. Для запуска README приводит примеры с llama.cpp и Ollama; указанный в примере контекст — 131072 токена. Это рекомендация для запуска, а не подтверждённый метаданными предел контекста модели.

Qwen3.8-27B-Bonsai-MLX-3bit — 27-миллиардная плотная языковая модель семейства Qwen3.5, подготовленная Hermes Agent на основе Ternary-Bonsai-2 от Prism ML. Это 3-битная квантизированная версия для генерации текста и диалогов, включая сценарии с вызовом инструментов. Метод folded quantization переносит Hadamard-преобразование из инференса в веса, чтобы модель запускалась в стандартных mlx-lm и oMLX без пользовательских ядер и специального рантайма. Модель предназначена для локального запуска на системах Apple Silicon, ответов на запросы, рассуждений и агентных сценариев. В README заявлено оценочное качество около 93–95% от FP16 и размер 12,8 ГБ; стандартные бенчмарки ещё не проводились. Репозиторий распространяется по лицензии Apache-2.0. README описывает производную от квантованной модели PrismML, поэтому исходная квантизация и ограничения базовой Qwen3.8-27B могут влиять на качество.

Это текстовая языковая модель семейства Qwen3.8 от RVN, опубликованная пользователем 0bserverx как полный набор весов в формате safetensors для запуска через Transformers, vLLM и SGLang. Репозиторий представляет собой реконструкцию FP16-весов из существующего GGUF-чекпойнта; это не новая тренировка и не точное восстановление недоступного исходного чекпойнта RVN. Архитектура — плотная Qwen3_5ForCausalLM, в метаданных указано 22,3 млрд параметров, контекст — до 262 144 токенов. Модель предназначена для генерации текста в диалогах и развёртывания как локальный или серверный чат-интерфейс. Карточка подтверждает короткие проверки генерации текста, перевода на турецкий, JSON-ответа и формирования вызова инструмента; вызов инструмента проверял генерацию запроса, а не исполнение внешней функции. Модель текстовая: визуальный энкодер и MTP-голова в опубликованных весах отсутствуют. В README модель названа abliterated и uncensored, поэтому она рассчитана на генерацию с ослабленными ограничениями отказа. Представлены 13 шардов весов: 498 тензоров хранятся в F16, 353 — в F32. Проверки запуска на vLLM и SGLang прошли на одной конфигурации GPU с контекстом 4096 токенов; авторы подчёркивают, что это дымовые тесты, а не широкая оценка качества, производительности или длинного контекста. Лицензия — Apache-2.0.

trymirai/Qwen3.8-27B-L — это 8-битная квантизированная версия Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для локального вывода в задачах генерации текста; оценочная смесь данных включала публичные агентские данные, наборы для supervised fine-tuning и работы с длинным контекстом, а также частные диалоговые данные. Квантизация выполнена после обучения с использованием симметричного 8-битного целочисленного представления, масштабов bfloat16 и размера группы 64. Для уменьшения выбросов активаций и весов применены блочно-диагональные случайные преобразования Хадамара с размером блока 32. По размеру и параметрам квантизации модель сопоставима с Unsloth UD-Q8_K_XL для GGUF. Заявлено, что чекпойнт находится на компромиссной границе между размером и KL-дивергенцией, однако конкретные показатели качества, архитектурные детали исходной модели, поддерживаемые языки и размер контекста в карточке не приведены. Основное преимущество модели — уменьшенные требования к памяти при сохранении качества, близкого к исходной Qwen3.8-27B, что делает её подходящей для локального использования на Apple silicon. Ограничение — официально поддерживается только инференс на Apple silicon; сведения о работе на других аппаратных платформах отсутствуют. Для запуска на macOS рекомендуется пакет mirai. Модель распространяется по лицензии Apache-2.0.

Donfagez/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это набор GGUF-квантизаций многоэтапной дообученной и объединённой модели, созданной на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что разработка выполнялась с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также датасетов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется под лицензией Apache-2.0. Модель предназначена для широкого спектра задач: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также поддержка нескольких режимов работы с уменьшенным объёмом рассуждений и ускоренной генерацией, включая MTP-варианты. Репозиторий содержит обычные GGUF-квантизации и MTP GGUF-квантизации, в том числе варианты с разрядностью 4 и 8 бит. Заявленные языки — английский и китайский; при этом в метаданных указан pipeline_tag image-text-to-text, но подробности о поддержке изображений в README не приведены. Ключевая характеристика модели — размер базовой модели 27B и ориентация на высокую детализацию, программирование и снижение избыточного рассуждения. Автор заявляет превосходство над базовой Qwen3.8 27B и рядом других моделей на семи внутренних бенчмарках, а также высокие результаты ARC-C и ARC-E, однако эти утверждения не подтверждены независимыми данными в представленном README. Ограничения включают отсутствие сведений о размере контекстного окна, точной архитектуре, системных требованиях, фактической мультимодальности и результатах внешнего тестирования; характеристики зависят от выбранной квантизации.

Plana-Chan/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный Plana-Chan для запуска в llama.cpp и совместимых средах. Модель предназначена для генерации текста, диалоговых и прикладных сценариев, где требуется локальный запуск, а также для обработки изображений при использовании совместимого vision runtime и отдельного vision-проектора. Поддерживаются английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Сохранена MTP-head для speculative decoding, доступны варианты с объединённой draft-моделью и отдельными target/draft-файлами. Представлены квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер основных файлов составляет примерно от 10,6 до 29 ГБ. Для изображений предоставляется mmproj в формате F16. Ключевая особенность — существенно сниженное поведение отказа, полученное методом abliteration без дообучения и дополнительных данных; полностью отказы не устранены. Возможны компромиссы квантизации, особенно у IQ2_M, а эффективность speculative decoding зависит от acceptance rate draft-head. README не приводит полных сведений о целевых бенчмарках и фактических требованиях к оборудованию. Распространение указано по лицензии Apache-2.0.

VladShash/qwen3-8b-feedback-with-repair-distilled — дообученная разговорная модель семейства Qwen3, разработанная на основе formalmathatepfl/qwen3-8b-feedback-with-repair. В карточке указано обучение на наборе lean_selfdistill_r1_train; дополнительных сведений о разработчике и методике обучения нет. Модель предназначена для генерации текста в диалоговом формате. Она содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и принимает текст, выдавая текст. Длина контекста составляет 32 768 токенов. Данные не уточняют поддерживаемые естественные языки или специальные прикладные области. Модель распространяется в формате safetensors через Transformers. Лицензия обозначена как other, поэтому условия использования следует проверять в репозитории модели.

Qwen3-8B-LayerBoost — гибридная модель для генерации текста и диалогового общения, разработанная Openchip на основе Qwen3-8B с применением фирменного метода линейризации LayerBoost. Она предназначена для использования в чат-сценариях и генерации текста. Модель имеет плотную архитектуру семейства Qwen3, содержит 7,6 млрд параметров и рассчитана на контекст до 40 960 токенов; для работы используется библиотека Transformers, веса доступны в формате safetensors. Модель унаследовала базовую модель Qwen3-8B, но README не описывает подробно изменения LayerBoost, сравнительные результаты или поддерживаемые языки. Лицензия в предоставленных данных не указана.

StationPC/Qwen3-8B-RKNN3-RK1828 — текстовая генеративная модель, опубликованная пользователем StationPC на Hugging Face. Это адаптация Qwen3-8B, разработанной командой Qwen компании Alibaba, в формате GGUF с архитектурой qwen3. Модель предназначена для генерации текста и диалоговых сценариев; заявленная карточка относит её к задачам text-generation и conversational. Исходная Qwen3-8B — каузальная языковая модель примерно на 8,2 млрд параметров с 36 слоями и grouped-query attention: 32 attention heads для запросов и 8 для ключей и значений. Для исходной модели указана нативная длина контекста 32 768 токенов и поддержка более 100 языков и диалектов, а также режимов рассуждения и обычного диалога, задач программирования, математики, следования инструкциям и работы с инструментами. Для конкретной RKNN3-версии не подтверждены собственные языковые характеристики, контекст, точный размер, метод квантования и результаты тестирования. Главное назначение версии StationPC — локальный запуск совместимой текстовой модели в формате GGUF через поддерживаемые инструменты инференса. Ограничения включают отсутствие опубликованной содержательной model card, неподтверждённые характеристики преобразования и неизвестное влияние формата и квантования на качество и производительность; мультимодальность не заявлена. Для репозитория указана лицензия Apache 2.0.

Qwen3.8-Flash-Next-113B-A5B-Niwaki-3bit-GGUF — текстовая MoE-модель для диалогов и генерации текста. Базовую модель Qwen3.8-Flash-Next разработала команда Qwen; проект Niwaki сократил число маршрутизируемых экспертов по статистике их использования, восстановил качество и провёл краткую дистилляцию. Эта сборка предназначена для запуска через форк neopolita-llama.cpp на CUDA, Vulkan, Metal и CPU; стандартный llama.cpp её пока не поддерживает. Модель содержит 113 млрд параметров, из которых активно около 5,4 млрд; маршрутизируемые эксперты сохранены в 32 из 48 слоёв. Репозиторий содержит GGUF-сборки с квантованием Q3_K и Q4_K; рекомендована Q3_K. Модель принимает и выдаёт текст. В README качество оценивается примерно в 99,8% от среднего результата исходной модели по задачам, однако точность чисел и узких технических сведений ниже, а оценка проводилась только на текстовых данных с преобладанием англоязычного веб-контента. Лицензия указана как other; README отсылает к лицензии базовой модели, но её условия здесь не раскрыты. Для запуска необходим специальный форк neopolita-llama.cpp.

Qwen3.8-Flash-Next-heretic-2-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next-heretic-2. Модель разработана trohrbaugh на основе Qwen3.8-Flash-Next от команды Qwen с применением модифицированного Heretic для снижения отказов; данный репозиторий spiritfather переупаковывает веса для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, творческого письма и ролевых сценариев, а также поддерживает обработку изображений через отдельный vision-проектор. Архитектура — qwen4exp, MoE: 177 млрд параметров всего и около 3 млрд активных. Указан нативный контекст до 262 144 токенов, встроенное рассуждение с уровнями reasoning_effort и возможность его отключения. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 130,8 до 175,3 GiB; также включена собственная MTP/NextN-голова для speculative decoding. Сильные стороны модели — большой контекст, мультимодальность, низкое авторское число отказов и поддержка ускоренного декодирования через MTP. Ограничения связаны с очень высокими требованиями к памяти, необходимостью актуальной версии llama.cpp, а для MTP — поддержки PR #27836. Представленные показатели CaliperBench характеризуют творческое письмо, ролевое взаимодействие и готовность отвечать, а не общий интеллект модели. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen.

Qwen-3B-ASVD-Healed — сжатая и восстановленная дообучением версия Qwen/Qwen2.5-3B от автора Kodjaoglanian. Это плотная авторегрессионная Transformer-модель семейства Qwen2 для генерации текста и диалогов. Структурное сжатие методом Activation-Aware SVD сократило число параметров в целевых слоях, а LoRA Healing использовался для восстановления связности генерации; адаптеры объединены с весами. В репозитории доступны веса Safetensors и GGUF, включая варианты F16 и Q4_K_M. Модель содержит около 3,1 млрд параметров, поддерживает контекст до 32 768 токенов и ориентирована на английский язык. Модель рассчитана на запуск в средах Hugging Face Transformers и на сценарии, где важны сниженные требования к памяти и вычислениям, включая развёртывание на устройствах с ограниченными ресурсами. Автор сообщает о сохранении FP16 и структурном удалении избыточных весов без необходимости динамической деквантизации. Лицензия — Apache-2.0. Сжатие с удержанием 85% дисперсии может ухудшить извлечение редких и специализированных фактов по сравнению с исходной Qwen2.5-3B. README рекомендует дополнительное дообучение для применений, где важна высокая фактическая точность в узкой предметной области.

SubhaP/qwen-decomposer — дообученная на TRL версия инструктивной языковой модели Qwen/Qwen2.5-0.5B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 494 млн параметров, предназначенная для диалогов и генерации текста по запросу. Модель принимает текст и выдаёт текст; для запуска в карточке приведён пример с Transformers и pipeline text-generation. Контекст модели составляет до 32 768 токенов. Карточка не уточняет состав обучающих данных и особые сценарии применения, поэтому пригодность для конкретных задач и качество ответов требуют проверки. В репозитории указаны веса safetensors; лицензия в предоставленных данных не приведена.

Qwen1.5-32B-Chat GGUF — набор квантизированных версий диалоговой языковой модели Qwen/Qwen1.5-32B-Chat, разработанный сообществом Featherless AI Quants. Модель предназначена для генерации текста и ведения диалогов; формат GGUF подходит для локального запуска и совместимых инструментов инференса, поддерживающих этот формат. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размеры файлов или наборов файлов составляют примерно от 11,7 до 33,0 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Модель относится к текстовой модальности; сведения о языках, архитектуре, размере контекста, результатах оценки и конкретных сценариях применения в README не указаны. Сильной стороной является наличие нескольких уровней квантизации для адаптации запуска под доступные аппаратные ресурсы. Ограничения включают значительные требования к памяти даже для наиболее компактных вариантов, а также возможные потери качества из-за квантизации. Лицензия в представленном README не указана.