/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
28,8 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B
Библиотека
mlx
Опубликована
15 авг 2026

Qwen3.8-27B-MXFP8-CRACK

Изображение и текст → текст15 профессий

dealignai/Qwen3.8-27B-MXFP8-CRACK — квантованная версия базовой модели Qwen/Qwen3.8-27B от Alibaba, подготовленная dealignai.

763скачиваний за 30 дней12лайковвеса обновлены4 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это плотная гибридная vision-language-модель на 27 млрд параметров с архитектурой из 64 слоёв, объединяющей линейное внимание GatedDeltaNet и gated full-attention. Модель предназначена для работы с текстом, изображениями и видео, поддерживает английский и китайский языки, рассуждения с уровнями xhigh, medium и low, вызов инструментов через XML-схему и нативную Multi-Token Prediction для ускорения генерации. Точный размер контекста в README не указан.

Модель собрана в формате JANG 8-bit MXFP8 для MLX и Apple Silicon, занимает около 27 ГБ памяти. Поведение отказа от выполнения запросов удалено методом CRACK на уровне весов, поэтому модель ориентирована на исследовательские сценарии, где требуется следование инструкциям без встроенных отказов, включая потенциально опасные категории. При этом заявлено сохранение рассуждений, мультимодальности, инструментов, знаний и многоязычности. В MMLU модель получила 86,67%, а в HarmBench — 100% соответствия запросам; эти результаты приведены разработчиком и не гарантируют качество или безопасность в других сценариях.

Для запуска рекомендуется MLX и библиотека mlx-vlm; в README указаны параметры sampling temperature=1.0, top_p=0.95 и top_k=20. Модель распространяется на базе Apache-2.0; README прямо указывает, что базовая модель принадлежит Alibaba и лицензирована по Apache-2.0. Поскольку защитные отказы удалены, ответственность за применение модели и соблюдение законодательства возлагается на пользователя.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!IMPORTANT] Set your sampler explicitly: temperature=1.0, top_p=0.95, top_k=20. Stop tokens eos_token_id = [248046, 248044]. Reasoning is on by default at xhigh; tiers xhigh (default) / medium / low via the chat template reasoning_effort kwarg; disable with enable_thinking=False. Vision + video and the native MTP draft head are preserved.


Qwen 3.8 27B — MXFP8 CRACK

CRACK abliterated · JANG 8-bit MXFP8 (MLX) · Dense hybrid GatedDeltaNet + attention · Vision + Video · Reasoning tiers · Tools · Native MTP · ~27 GB


What Is This?

This is Qwen/Qwen3.8-27B — a 27B dense hybrid (GatedDeltaNet linear-attention + gated full-attention) vision-language model with video understanding, reasoning-effort tiers, tool calling, and a native Multi-Token-Prediction draft head — that has been:

  1. CRACK abliterated — refusal behavior removed at the weight level, so it complies across task categories instead of refusing, while keeping reasoning, vision, tools, and knowledge intact.
  2. MXFP8 quantized — 8-bit MXFP8 MLX bundle for Apple Silicon (~27 GB).

Vision, video, reasoning tiers, XML tool-calling, and native MTP speculative decoding are all preserved.

Results

Evaluated through the MLX runtime. HarmBench scored with a strict code/chemistry-aware classifier (only substantive, coherent, on-topic compliance counts). MMLU is the standard 57-subject benchmark in logit mode.

MetricBaseCRACK
MMLU (57-subject, logit)86.67%86.67%
HarmBench (harm-240, compliance / ASR)refuses100.0%

MMLU moves +0.0pp — within run-to-run noise (no subject collapse). Refusal behavior removed; capability, reasoning, vision, tools, and multilingual (EN+ZH) preserved.

Features

  • Dense hybrid — GatedDeltaNet linear-attention + gated full-attention, 64 layers.
  • Vision + Video — image and video understanding preserved (image-text-to-text).
  • Native MTP — the Multi-Token-Prediction draft head is preserved and CRACK-aligned (the draft head is cracked to match the uncensored model, so its drafts track the compliant outputs) for speculative decoding — measured preserved draft acceptance on this quant. Auto-engages at temperature 0 / deterministic sampling.
  • Reasoning tiers — on by default at xhigh; xhigh / medium / low via reasoning_effort; <think>…</think>; disable with enable_thinking=False.
  • Tool calling — native XML function-call schema preserved.
  • Multilingual — English + Chinese.

Usage

from mlx_vlm import load, generate
model, processor = load("dealignai/Qwen3.8-27B-MXFP8-CRACK")
# recommended sampling: temperature=1.0, top_p=0.95, top_k=20; eos [248046, 248044]

Benchmarks — all quant levels

Every quant validated independently: HarmBench harm-240 (thinking-off, strict code/chemistry-aware classifier — only substantive, coherent, on-topic compliance counts) and MMLU (57-subject, logit mode, base vs CRACK on the identical harness).

ProfileSizeMMLU baseMMLU CRACKΔ MMLUHarmBench-240
2D11 GB80.0%76.84%-3.16pp100.0%
4D17 GB88.77%87.72%-1.05pp100.0%
6D24 GB88.77%89.12%+0.35pp100.0%
MXFP827 GB86.67%86.67%+0.0pp100.0%

All four reach 100% HarmBench compliance with MMLU held within a couple of points of base (6D actually improves). Pick by memory budget: 6D best quality, 4D the balance, 2D smallest, MXFP8 reference 8-bit. Base refuses HarmBench by design (not shown — comparison is compliance vs. capability).

About CRACK

CRACK (Controlled Refusal Ablation via Calibrated Knockouts) is dealignai's weight-level method for removing safety-refusal behavior while preserving reasoning quality, coherence, and general capability — so the model complies across task categories instead of refusing. Calibrated per model.

Support dealignai

All models are built from original research and released free.

Support us on Ko-fi — membership gets early access and extras.

Ko-fi · X @dealignai · dealign.ai


Disclaimer

This model has had its safety-refusal behavior removed for research purposes. It will follow instructions across all categories without refusing. You are solely responsible for how you use it and for complying with all applicable laws. Base model © Alibaba (Apache-2.0). Published for AI-safety research and authorized security testing.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
7e7d443

0 моделей