Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3.8-27B
Опубликована: 18 авг 2026

Ссылки

Qwen3.8-27B-Heretic-Uncensored-Q5_K_M-GGUF

Генерация текстаТекст → текст6 профессий

Qwen3.8-27B-Heretic-Uncensored-Q5_K_M-GGUF — GGUF-квантизация модели Qwen3.8-27B, разработанная mlasli на основе Qwen/Qwen3.8-27B.

4 897скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это текстовая авторегрессионная модель генерации текста для диалогов, ролевых сценариев и других задач, где требуется менее ограниченное следование запросам. В карточке указан английский язык; модель проверена только в текстовом режиме, поэтому возможности работы с изображениями не подтверждены.

Модель содержит около 27 млрд параметров и распространяется в формате GGUF с квантизацией Q5_K_M; размер файла составляет около 19 ГБ. Вариант сохраняет MTP draft head для speculative decoding, использует imatrix-квантизацию и рассчитан на запуск через llama.cpp с архитектурой qwen35. В примере конфигурации используется контекст 4096 токенов и отключённый режим рассуждений. Для ускорения генерации поддерживается speculative decoding на базе MTP.

Сильной стороной является сохранение MTP и относительно высокое качество квантизации при меньшем размере по сравнению с BF16-версией. По приведённому smoke-тесту для Q5_K_M модель дала 84% прямых ответов на вредоносные запросы, 4% отказов и 0% отказов на безвредных запросах; результаты зависят от настроек и не заменяют полноценную оценку. Abliteration удаляет исходное safety-выравнивание, поэтому модель может генерировать небезопасный контент. Для заявленного поведения требуется отключать thinking: при включённом режиме модель чаще уклоняется или отказывает и может выдавать пустые ответы. Лицензия указана как Apache-2.0; использовать модель следует ответственно и с соблюдением законодательства.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B Heretic v2.1.0 (GGUF)

GGUF quantization of mlasli/Qwen3.8-27B-Heretic-Uncensored-BF16 (v2.1.0). Full methodology, benchmarks, and the 3-way eval are documented there.

v2.1.0 fixes v2.0.0's false "uncensored" claim: the sweep now optimizes a 3-way direct / deflect / refuse judge (not a keyword refusal count) and the BF16 checkpoint scores 92% direct / 3% refuse / 5% deflect on the held-out harmful set (thinking OFF), with 1% benign over-refusal.

What's different about these GGUFs

MTP retained — the draft head (blk.64) is present and pinned to Q8_0 in every quant so speculative decoding stays accurate (block_count = 65).
imatrix-quantized — calibrated on wikitext-103, regenerated for the v2.1.0 weights.
Smoke-tested — every quant is loaded through llama-server --spec-type draft-mtp (MTP confirmed engaged) and scored 3-way on 50 harmful + 20 benign (thinking OFF). Results below.

Quantizations

Quantization	Size	Repository
Q8_0	28 GB	Qwen3.8-27B-Heretic-Uncensored-Q8_0-GGUF
Q6_K	21 GB	Qwen3.8-27B-Heretic-Uncensored-Q6_K-GGUF
Q5_K_M	19 GB	Qwen3.8-27B-Heretic-Uncensored-Q5_K_M-GGUF
Q4_K_M	16 GB	Qwen3.8-27B-Heretic-Uncensored-Q4_K_M-GGUF
IQ4_XS	15 GB	Qwen3.8-27B-Heretic-Uncensored-IQ4_XS-GGUF
IQ2_M	9.8 GB	Qwen3.8-27B-Heretic-Uncensored-IQ2_M-GGUF

Smoke test (llama.cpp + MTP, thinking OFF)

Quant	harmful %direct	harmful %refuse
Q8_0	84.0	2.0
Q6_K	86.0	2.0
Q5_K_M	84.0	4.0
Q4_K_M	78.0	2.0
IQ4_XS	80.0	4.0
IQ2_M	78.0	2.0

Usage

Load with llama.cpp (arch qwen35), enabling MTP speculative decoding and thinking-OFF:

llama-server -m qwen3.8-27b-heretic-uncensored-Q8_0.gguf \
  --spec-type draft-mtp -ngl 99 -c 4096

Set enable_thinking: false in the chat template (or the equivalent flag in your client). Ollama users can ollama create from the GGUF directly.

Vision caveat: text-only validated (see the BF16 card).

MLX (v2.1.0): 6-bit and 8-bit Apple-Silicon quants are available.

Thinking-OFF is required for the uncensored behavior — thinking-ON re-hedges/refuses more and can emit empty replies (documented in the BF16 card).

Abliteration removes safety alignment. Use responsibly and in accordance with your local laws and the upstream Apache-2.0 license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 735608c