I.5Создание и редактирование текста

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

kelnei/Qwen3.8-27B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная на основе исходной модели Qwen/Qwen3.8-27B. Она предназначена для генерации текста и обработки изображений с текстом, включая сценарии чат-взаимодействия и инференса на NVIDIA Blackwell GPU с архитектурой SM 12.0 и выше. Модель использует смешанную квантизацию: большинство линейных слоёв работают в NVFP4 (W4A4, group-16), отдельные компоненты — в FP8, а vision tower, merger, embeddings, norms и часть DeltaNet-слоёв сохранены в BF16. Размер чекпойнта и требуемой видеопамяти составляет около 21,8 ГБ против примерно 56 ГБ у версии BF16. Поддерживаются KV-кэш FP8 и multi-token prediction (MTP); заявленная точность относительно BF16-оригинала — 94,1% совпадения top-1 при эмулированном W4A4-инференсе. Главное преимущество модели — существенное снижение требований к памяти при сохранении близкого к исходному качеству и повышение скорости декодирования, особенно при MTP speculative decoding. Рекомендуемый сервер — vLLM с оптимизированными NVFP4-ядрами; для SGLang необходимо использовать более раннюю ревизию с BF16-головой, поскольку текущая FP8-голова может приводить к вырожденным результатам. Для работы требуется совместимый NVIDIA Blackwell GPU, поэтому модель не является универсальной для старых видеокарт. Модель распространяется по лицензии Apache-2.0.

dbirks/Qwen3.8-27B-NVFP4-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная с помощью Intel AutoRound и упакованная в формате compressed-tensors для развертывания через vLLM. Модель предназначена для генерации и обработки текста, а также сохраняет архитектурные компоненты исходной мультимодальной модели, включая vision tower, хотя квантизация применяется только к языковому декодеру. В основе лежит гибридная архитектура из 64 слоёв: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания, с поддержкой контекста до 262 тысяч токенов. Основная часть линейных слоёв языкового декодера сжата до NVFP4 W4A4: квантизируются веса и входные активации с группами размера 16. Проекции управления рекуррентностью, vision tower, MTP head и lm_head оставлены в BF16 для сохранения качества. Модель поддерживает английский язык; размер файла составляет около 20,6 ГБ против примерно 52 ГБ у BF16-версии. Сильная сторона модели — существенное снижение требований к памяти при сохранении качества, близкого к базовой BF16-модели: в приведённых тестах результаты GSM8K, HumanEval и MMLU-Pro находятся в пределах доверительных интервалов базовой версии. Модель в первую очередь рассчитана на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores (SM100/SM120). На Ada и Hopper полноценного ускорения нет, возможен откат к более медленному режиму Marlin; для таких GPU рекомендуется родственная W4A16-версия. Лицензия — Apache-2.0.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-OBLITERATED-FP8 — это FP8-квантизированная версия мультимодальной модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, подготовленная MrPewpy. Модель предназначена для генерации текста, диалоговых сценариев, работы с изображениями и текстом, а также использования через vLLM и Transformers. Лицензия — Apache-2.0. Модель содержит около 27 млрд параметров и использует гибридную архитектуру с линейным вниманием Gated-DeltaNet и полным attention. Заявлена поддержка мультимодальных задач image-text-to-text, английского языка и контекста до 262 144 токенов. Квантизация выполнена в формате FP8_DYNAMIC: веса представлены в FP8, активации квантизуются динамически, а чувствительные проекции линейного внимания сохраняются в BF16. Размер модели сокращён примерно до 28 ГБ по сравнению с 51,6 ГБ у базовой BF16-версии. Сильными сторонами являются уменьшенный объём хранения, нативная поддержка vLLM, возможность запуска на GPU NVIDIA Ampere, Hopper и Blackwell, а также заявленная оптимизация базовой модели для снижения отказов. В README приведены непроверенные результаты на MMLU, ARC-Challenge, HellaSwag, WinoGrande, GSM8K и TruthfulQA; они не гарантируют аналогичную производительность в прикладных задачах. Для запуска рекомендуется vLLM, а аппаратные требования и качество могут зависеть от используемого движка, настроек и поддержки мультимодальных функций.

Qwen3.8-27B-Opus-Distill-v2-GGUF — семейство GGUF-квантизаций модели barozp/Qwen3.8-27B-Opus-Distill-v2, разработанной сообществом на базе Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated-DeltaNet и full-attention, 64 слоями, поддержкой текста и изображений или видео через отдельный vision-модуль mmproj. Модель предназначена для диалогов, генерации текста и решения задач, требующих рассуждений; исходная модель дообучена методом LoRA на 11 716 проверенных примерах рассуждений, связанных с Opus. Главное назначение версии v2 — исправление дефекта v1, при котором некоторые сочетания ограничений формата могли запускать бесконечный цикл самопроверки без видимого вывода. По данным README, новая версия корректно завершается на проверенных тестах и показывает заметный прирост относительно базовой модели в ARC Challenge и GPQA Diamond, при сопоставимых результатах на MMLU и wikitext. Доступны варианты от BF16 и Q8_0 до экстремально низкобитных IQ-квантизаций; Q4_K_M указан как сбалансированный вариант, а выбор зависит от объёма доступной видеопамяти. IQ-квантизации требуют imatrix и актуальной поддержки llama.cpp. Модель может использоваться в llama.cpp в текстовом режиме, а для мультимодального ввода требуется отдельный vision-файл mmproj. Поддержка языков и размер контекстного окна в README не указаны. К ограничениям относятся потери качества при низкобитной квантизации, повышенные требования к памяти для старших вариантов и необходимость отдельного vision-модуля для изображений и видео. Указанная лицензия — Apache-2.0.

z-lab/Qwen3.8-27B-PARO — квантованная версия модели Qwen/Qwen3.8-27B, разработанная командой z-lab с использованием метода ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для эффективного вывода больших языковых моделей, включая задачи рассуждения, интерактивного общения и развёртывания через совместимые с OpenAI API серверы. Модель использует 4-битное квантование языковых компонентов. Визуальные компоненты сохранены в исходной точности, поэтому checkpoint поддерживает мультимодальные сценарии image-text-to-text, но занимает больше места, чем полностью квантованная версия. Заявлена поддержка NVIDIA GPU через vLLM и Transformers, а также Apple Silicon через MLX; мультимодальные возможности можно использовать при загрузке VLM-компонентов. К сильным сторонам относятся сочетание низкой точности INT4 с заявленным сохранением качества, близкого к FP16, а также производительность, сопоставимая с AWQ. Ограничение — повышенный размер модели при использовании визуальных компонентов и необходимость специализированного программного окружения ParoQuant или совместимых инструментов. Сведения о языках и размере контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q6_K-GGUF — это неизменённая ванильная квантизованная версия модели Qwen3.8-27B, опубликованная Chungulus на основе исходных весов Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, обработки изображений и видео, вызова инструментов и задач reasoning; заявлена совместимость с нативным форматом tool calling Qwen и управлением режимами мышления через enable_thinking, reasoning_effort и preserve_thinking. Модель поставляется в формате GGUF с квантизацией Q6_K на базе llama.cpp. Основной файл занимает около 22,431 ГБ, vision projector в формате F16 — отдельный файл, а полный репозиторий — около 23,371 ГБ. Сохранена гибридная архитектура Hybrid Gated DeltaNet/full-attention, vision-компоненты, tokenizer и MTP-метаданные; спекулятивное ускорение не заявляется. Архитектурный максимальный контекст и полноценные бенчмарки в README не указаны, а самая длинная проверенная последовательность составляла 73 токена. Текстовая генерация, вызов инструментов, обработка изображений и видео, а также шаблон чата прошли заявленные локальные проверки. Квантизация может снижать качество по сравнению с исходными весами, особенно при меньшей разрядности, а для запуска требуется среда с поддержкой графа Qwen3.8, vision tower/projector и MTP-метаданных. Рекомендуется иметь не менее примерно 27 ГБ доступной памяти с учётом модели, vision projector и базовых накладных расходов; KV-cache дополнительно увеличивается с размером контекста. Модель и данная квантизация распространяются по лицензии Apache-2.0.

Это семейство из восьми GGUF-вариантов модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, опубликованное esatapedico. Автор репозитория выполнил конвертацию чекпойнта NVFP4 в GGUF и подготовил варианты с разным компромиссом между размером и точностью; исходную модель разработал DavidAU. В основе — плотная гибридная модель Qwen на 27 млрд параметров с Gated DeltaNet и Gated Attention, чередующимися по слоям, и нативным контекстом 262 тыс. токенов. Модель предназначена для генерации текста и диалогов. В каждом из восьми файлов встроена MTP-голова для спекулятивного декодирования; для обработки изображений нужен отдельный совместимый vision projector, которого в этом репозитории нет. Основной корпус весов использует NVFP4, а точность головы, эмбеддингов и MTP различается между вариантами. Репозиторий распространяется по лицензии Apache-2.0. Выбор файла зависит от доступной памяти и желаемой точности: компактные варианты занимают меньше места, а HIGHEST лучше сохраняет точность исходных весов и требует около 19,8 ГиБ VRAM только для весов, дополнительно потребуется память для KV-кэша. Приведённые автором замеры являются одиночными проверками загрузки и генерации, а не сопоставимым бенчмарком. Настроечная модель обозначена как uncensored; ответы могут не соответствовать обычным ограничениям по содержанию.

Qwen3.8-27B-TURBO-FCF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, опубликованная пользователем kamikatze13. В качестве базовой модели указана Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Модель создана с использованием методов Cold Fusion, Fable Fusion и Unsloth, а также обучалась на наборах DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель ориентирована на широкий круг задач: решение проблем, рассуждения, программирование, творческое письмо, создание художественных текстов, ролевые сценарии и другие универсальные применения. Заявленная особенность версии TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно обеспечивать более быструю генерацию при сохранении подробности ответов. README также указывает поддержку английского и китайского языков, наличие режимов рассуждения и вариантов GGUF-квантизации, включая 4- и 8-битные сборки, обычные и MTP-варианты. К сильным сторонам относятся ориентация на детализированные ответы, программирование, reasoning и художественную генерацию, а также возможность запуска на потребительском оборудовании благодаря квантизации. Заявленные высокие результаты ARC-C и ARC-E, превосходство над рядом базовых моделей и сильные возможности tool calling приведены авторами README, но независимая проверка этих утверждений не представлена. Ограничения включают отсутствие подробных данных о размере контекстного окна, точной архитектуре, мультимодальных возможностях и требованиях к оборудованию. Модель обозначена как uncensored, поэтому её ответы могут иметь сниженные защитные ограничения и требовать дополнительного контроля. Лицензия — Apache 2.0.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored — мультимодальная диалоговая модель семейства Qwen, разработанная DavidAU и дообученная на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Модель содержит 27 млрд параметров, использует плотную архитектуру Qwen3.5 и распространяется в формате Safetensors для библиотеки Transformers. Метаданные относят её к задачам диалога с изображениями; заявлены возможности чата и анализа изображений. Модель рассчитана на следование инструкциям, творческое письмо и ответы с подробными рассуждениями. В README описаны переключаемые режимы рассуждения и инструкций, а также заявлено сокращение числа токенов рассуждения; конкретные настройки и результаты тестов приведены не полностью. Версия позиционируется как умеренно «uncensored» с меньшей склонностью к отказам, чем исходная ненастроенная модель. Лицензия — Apache 2.0. README не сообщает размер контекстного окна и языковой охват; метаданные карточки указывают английский язык. Несмотря на текст README о поколении Qwen 3.8, архитектурные метаданные классифицируют модель как Qwen3.5. Возможность анализа изображений следует из метаданных; подробные ограничения такого режима в карточке не описаны.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем azukivc и подготовленный для llama.cpp. Модель предназначена для генерации текста, включая локальный запуск и сценарии, где требуется сниженное количество отказов. Поведение отказа было существенно уменьшено, но не устранено полностью; дополнительное обучение и новые обучающие данные не использовались. Лицензия — Apache-2.0. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указана поддержка vision, поэтому доступны варианты с обработкой изображений, если это поддерживается базовой моделью и используемым runtime. Заявлены языки English и Chinese. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, размер файлов — примерно от 10,6 до 29 ГБ. MTP-голова сохранена для speculative decoding; доступны как объединённые файлы со встроенной draft-моделью, так и отдельные target- и draft-файлы. Снижение отказов является преимуществом для менее ограниченных сценариев, однако поведение не полностью безотказное, а acceptance rate speculative decoding может немного снизиться.

JonathanColetti/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный JonathanColetti для запуска через llama.cpp и совместимые среды. В модели существенно снижено отказное поведение, но оно не устранено полностью; при этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Изменения выполнены методом abliteration без дообучения и добавления новых данных. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений при использовании совместимого vision runtime. Указаны английский и китайский языки. Архитектура — Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248320 токенов, один MTP-слой и контекст до 262144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с MTP для speculative decoding и отдельный vision-проектор. Сильные стороны модели — большой контекст, поддержка изображений, несколько вариантов квантизации для разных ограничений по памяти и возможность ускорения генерации через speculative decoding. Качество зависит от выбранной квантизации и аппаратного обеспечения; наиболее компактная IQ2_M заметно уступает остальным вариантам по измеренной perplexity. MTP-голова обучалась на неизменённой базовой модели, поэтому коэффициент принятия черновых токенов может немного снижаться, хотя проверка каждого токена сохраняет качество вывода. Для работы требуется совместимый runtime, а поддержка изображений доступна только при наличии соответствующего vision runtime. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

Plana-Chan/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный Plana-Chan для запуска в llama.cpp и совместимых средах. Модель предназначена для генерации текста, диалоговых и прикладных сценариев, где требуется локальный запуск, а также для обработки изображений при использовании совместимого vision runtime и отдельного vision-проектора. Поддерживаются английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Сохранена MTP-head для speculative decoding, доступны варианты с объединённой draft-моделью и отдельными target/draft-файлами. Представлены квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер основных файлов составляет примерно от 10,6 до 29 ГБ. Для изображений предоставляется mmproj в формате F16. Ключевая особенность — существенно сниженное поведение отказа, полученное методом abliteration без дообучения и дополнительных данных; полностью отказы не устранены. Возможны компромиссы квантизации, особенно у IQ2_M, а эффективность speculative decoding зависит от acceptance rate draft-head. README не приводит полных сведений о целевых бенчмарках и фактических требованиях к оборудованию. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем preyy2 для запуска через llama.cpp и совместимые среды. Модель предназначена для генерации текста, диалогов и других задач на основе текста, а варианты с vision-проектором также поддерживают обработку изображений. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, одну MTP-голову и поддерживает контекст до 262 144 токенов. В README заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. MTP-голова позволяет использовать ускоренное декодирование при поддержке со стороны runtime. Ключевая особенность сборки — существенное снижение поведения, связанного с отказами от ответов, с помощью abliteration без дообучения и добавления новых данных; отказы не устранены полностью. При этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Качество квантизаций оценивалось по perplexity на wikitext-2, однако IQ2_M заметно уступает вариантам с более высокой точностью. Для запуска необходим совместимый runtime и объём памяти, соответствующий выбранному файлу; поддержка изображений зависит от vision-совместимого runtime. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-версия плотной языковой модели Qwen3.8-27B, подготовленная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео при использовании отдельного BF16-проектора. Указаны поддержка английского, китайского и других языков, а также мультимодальный режим image-text-to-text. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408, словарь на 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Она сохраняет встроенный механизм NextN/MTP и дополнительно поставляется с профилем HauhauCS FastMTP 32K для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизации от Q8_K_P до IQ2_M; для изображений и видео требуется отдельный vision projector. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения, что может быть полезно для свободного исследования, автоматизации и сценариев, где важна максимальная отзывчивость. При этом отсутствие защитных отказов повышает риски при работе с вредоносными или чувствительными запросами, а для критически важных длинноконтекстных агентских задач автор рекомендует более сбалансированный вариант. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-OptiQ-4bit — это квантизированная версия reasoning-модели семейства Qwen3.8, разработанная сообществом mlx-community на базе orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. В карточке указана поддержка английского языка. Модель содержит 27 млрд параметров и использует смешанную квантизацию OptiQ с точностью 4 и 8 бит на уровне отдельных компонентов: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Размер модели на диске составляет около 19 ГБ, group size — 64. В ней сохранена MTP-голова для speculative decoding, которая может ускорять генерацию при использовании совместимого сервера. Модель оптимизирована для локального запуска на Apple Silicon через MLX без PyTorch и облачных сервисов. Сильными сторонами являются сочетание сниженного потребления памяти, reasoning-возможностей, поддержки инструментов и потенциально более быстрой генерации благодаря MTP. Ограничения включают необходимость экосистемы MLX и Apple Silicon, а также специального пакета mlx-optiq для загрузки архитектуры и MTP-компонента. README не указывает точный размер контекстного окна, подробные результаты тестирования или дополнительные языки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-Vision-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, диалоговые сценарии и обработку изображений при использовании vision-варианта, если соответствующая система поддерживается базовой моделью. Заявлены языки English и Chinese. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ; в него встроена MTP-голова для speculative decoding. В README указано, что отказное поведение было существенно снижено с помощью Heretic без дообучения и дополнительных данных, но не устранено полностью. При обычном прямом проходе MTP-блок не влияет на качество вывода, а speculative decoding может ускорить генерацию, хотя коэффициент принятия черновых токенов может немного снизиться. К сильным сторонам относятся большой контекст, поддержка мультимодального ввода, сохранённая MTP-структура и относительно компактное представление Q4_K_M. Ограничения включают зависимость от поддержки vision и MTP со стороны конкретного рантайма, а также возможное ухудшение качества квантования по сравнению с f16; для Q4_K_M в README приведена perplexity 7,1814 на wikitext-2. Модель распространяется по лицензии Apache-2.0.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

desva0/Qwen3.8-27B-Uncensored-W4A16 — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит сборку OrcaRouter с удалённым встроенным поведением отказа, дополнительно преобразованную в формат W4A16. Модель предназначена для работы с текстом и изображениями, поддерживает английский и китайский языки, рассуждения и вызов функций. Модель использует архитектуру Qwen3_5ForConditionalGeneration и содержит около 27 млрд параметров в исходной версии. Применена 4-битная симметричная квантизация весов с размером группы 128 в формате compressed-tensors pack-quantized; визуальные линейные слои сохранены в более высокой точности для поддержания возможностей анализа изображений. Размер весов составляет примерно 15 ГБ, благодаря чему модель рассчитана на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. В README указана возможность использования контекста до 32768 токенов при настройке vLLM, причём фактическая длина зависит от доступной памяти под KV-кэш. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка function calling и возможность локального запуска на потребительском GPU. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, зависимостью от совместимой версии vLLM и формата compressed-tensors, а также с отсутствием встроенного поведения отказа: модель может выполнять запросы, которые согласованная модель отклонила бы, поэтому ответственность за защитные меры и корректное применение лежит на пользователе. Модель распространяется по лицензии Apache-2.0; при перераспределении необходимо сохранять лицензию и атрибуцию.

Qwen3.8-27B-Uncensored-xCloud — производная мультимодальная модель компании 云碩科技（xCloudinfo） на базе Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с архитектурой смешанного внимания: gated-delta линейное внимание чередуется с полным вниманием. Разработчик удалил направление отказа методом abliteration, ортогонализовав его в 80 матрицах проекций attention и MLP; дообучение и дополнительные данные не использовались. Визуальная башня и голова языковой модели сохранены. Модель предназначена для диалогов и генерации текста, включая многоязычные вопросы и арифметические задачи; базовая архитектура также принимает изображения. Это reasoning-модель, которая может выводить блок рассуждений перед ответом, и поддерживает интерфейс вызова инструментов. В небольшом red-team тесте разработчика доля отказов составила 0 из 4; такая проверка ограничена малой выборкой и не гарантирует поведение на других запросах. Для загрузки README рекомендует один вычислительный прибор, поскольку разбиение на несколько GPU может нарушить рекуррентное состояние. Лицензия — Apache-2.0; удаление отказов ослабляет один из защитных механизмов, поэтому применение требует осторожности.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

Qwen3-8B-Base-SFT-R-64 — базовый чекпойнт размером 7,6 млрд параметров, подготовленный David6995 как общая основа для доменных экспертных моделей семейства Qwen3-8B. Это плотная авторегрессионная языковая модель архитектуры Qwen3ForCausalLM; репозиторий содержит полные веса BF16, конфигурацию и токенизатор в формате safetensors. Модель работает с текстом, поддерживает чатовый интерфейс и интерфейс вызова инструментов, а её родной контекст составляет 65 536 токенов. Чекпойнт предназначен для использования как общая база при создании или применении доменных экспертов Qwen3-8B и для генерации текста. Указана лицензия Apache-2.0. README не приводит сведений о конкретных доменах экспертов или оценках качества этой версии.

VladShash/qwen3-8b-classic-with-repair — дообученная модель семейства Qwen3, созданная на базе formalmathatepfl/qwen3-cpt с использованием набора данных SFT. Она предназначена для генерации текста в диалоговом режиме. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Карточка не раскрывает тематику дообучения, поэтому нельзя надёжно определить специализированные сценарии, языки или преимущества варианта «classic-with-repair». Модель распространяется в формате safetensors; лицензия указана как other, без дополнительных условий в предоставленных данных.

6block/Qwen3-8B-GGUF — набор GGUF-квантизаций базовой модели Qwen3-8B, разработанной командой Qwen и подготовленной пользователем 6block с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, работы с английским и китайским языками, а также задач программирования. Квантизации можно запускать локально через llama.cpp, LM Studio, Ollama и совместимые проекты. В набор входят варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K размером примерно от 3,28 до 8,71 ГБ. При создании использовалась importance matrix (imatrix) и двуязычный, ориентированный на код набор калибровочных данных, что должно помогать сохранять качество китайского языка и программирования при низкой разрядности. В README не указаны архитектурные детали исходной Qwen3-8B, размер контекста и точный перечень поддерживаемых возможностей, поэтому эти характеристики нельзя достоверно описать. Основные преимущества — возможность локального запуска, несколько вариантов компромисса между качеством, скоростью и требованиями к памяти, а также публикация файла imatrix для воспроизводимости квантизации. Более низкие квантизации экономят память, но могут заметнее уступать по качеству; I-квантизации ориентированы на лучшую эффективность при малом размере, однако на CPU могут работать медленнее K-квантизаций. Набор распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-8B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. Известно, что модель основана на архитектуре и характеристиках Qwen3-8B, однако в README не приведены подробности о размере контекста, языках, поддерживаемых модальностях и других архитектурных параметрах. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, включая использование GPU-ускорения. Сильные стороны модели — разнообразие вариантов квантизации и широкая совместимость с локальными средствами запуска, включая CLI, веб-интерфейсы и OpenAI-совместимые серверы. Ограничения связаны с возможными потерями качества при низкой разрядности квантизации и зависимостью от совместимого программного обеспечения. Лицензия в README не указана.