/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3.8-9B-abliterated-25
Опубликована
19 авг 2026

Ссылки

Hugging Face

Qwen3.8-9B-abliterated-25-GGUF

MegaPanchamZ
Генерация текстаТекст → текст5 профессий

MegaPanchamZ/Qwen3.8-9B-abliterated-25-GGUF — квантованная GGUF-версия модели MegaPanchamZ/Qwen3.8-9B-abliterated-25, созданной на основе empero-ai/Qwen3.8-9B.

4 891скачиваний за 30 дней4лайкавеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана и квантована MegaPanchamZ; исходная модель относится к семейству Qwen. Это reasoning-модель для генерации текста, предназначенная для локального запуска через llama.cpp и совместимые инструменты.

Модель содержит около 9 млрд параметров и представлена в формате Q4_K_M размером примерно 5,3 ГБ. Квантование выполнено после модификации весов в формате bfloat16 с использованием инструментов Unsloth. README указывает поддержку англоязычных сценариев, однако сведения о точном размере контекстного окна, других языках и дополнительных модальностях отсутствуют. Ответы могут начинаться с блока <think>, поэтому для полноценной генерации рекомендуется задавать увеличенное значение max_tokens.

Ключевая особенность — abliteration, то есть подавление направлений, связанных с отказами от ответов, с помощью Heretic v1.4.0. В тесте на 100 вредоносных запросах доля отказов снизилась с 99 до 25, а KL-дивергенция относительно исходной модели составила 0,0142, что указывает на небольшое изменение общего поведения по заявленной метрике. При этом модель может соглашаться на запросы, которые исходная версия отклоняла, что является существенным ограничением и требует ответственного применения.

Базовая модель распространяется по лицензии Apache-2.0. Для abliteration использован Heretic, распространяемый по GPLv3+, а конвертация в GGUF выполнена с помощью Unsloth. В README также приведено предупреждение о необходимости соблюдать применимое законодательство.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-9B Abliterated (Q4_K_M)

A GGUF Q4_K_M quantization of MegaPanchamZ/Qwen3.8-9B-abliterated-25, the abliterated (decensored) version of empero-ai/Qwen3.8-9B.

Abliteration was performed with Heretic v1.4.0 (GPLv3+, by Philipp Emanuel Weidmann), which ablates refusal directions from attn.o_proj and mlp.down_proj via LoRA adapters, then merges them back into the base weights.

Results

MetricOriginalAbliterated
Refusals (100 harmful prompts)99/10025/100
KL divergence vs. original—0.0142

25/100 refusals with a very low KL divergence (0.014, far below the 0.5 damage threshold) — strong refusal suppression with minimal impact on model capabilities.

Abliteration details

  • Tool: Heretic v1.4.0 (auto batch size 64, 400 total optimization trials)
  • Prompt sets: mlabonne/harmless_alpaca (good) and mlabonne/harmful_behaviors (bad), 400 prompts each
  • Selected trial: 276 of 400 (Pareto-optimal)
  • Parameters:
    • direction_index = 17.52
    • attn.o_proj.max_weight = 1.39
    • attn.o_proj.max_weight_position = 19.72
    • attn.o_proj.min_weight = 1.36
    • attn.o_proj.min_weight_distance = 9.88
    • mlp.down_proj.max_weight = 1.27
    • mlp.down_proj.max_weight_position = 26.42
    • mlp.down_proj.min_weight = 1.25
    • mlp.down_proj.min_weight_distance = 17.97
  • Method: LoRA-based row-normalized ("full") ablation, merged into base weights (no separate adapters)
  • Format: Merged safetensors → GGUF Q4_K_M via Unsloth save_pretrained_gguf

Quantization

  • Q4_K_M (5.3 GB), converted with Unsloth's llama.cpp toolchain
  • Quantization applied to the merged, abliterated bf16 weights

Usage (llama.cpp)

llama-server -m Qwen3.8-9B-abliterated-25.Q4_K_M.gguf -ngl 99

[!NOTE] This is a reasoning model — responses start with a <think> block. Use generous max_tokens (1000+) when chatting, or the answer may be truncated.

License and attribution

Disclaimer

This model has had its refusal behavior modified. It may comply with requests the original model would decline. Use responsibly and in accordance with local laws.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
d9d405a

0 моделей

    Создать бенчмарк