Qwen3.5-9B-Abliterated-HSAQ-v2
HSAQR v2 — Solo abliteración (identificación automática → rewrite selectivo → PWS global). Este repo NO incluye el fine-tune final.
Autor: Jesús Antonio Zárate Hernández (MethodWhite), M.A.T.E.R.I.A. Research, 2026.
Diferencia con Qwen3.5-9B-HSAQR-v2
| Este repo (Abliterated) | Qwen3.5-9B-HSAQR-v2 | |
|---|---|---|
| Identificación automática (8/32 capas) | ✅ | ✅ |
| Rewrite selectivo (ortogonalización) | ✅ | ✅ |
| PWS global (MLP 12288→7456) | ✅ | ✅ |
| Fine-tune HSAQ-optimizer | ❌ No | ✅ Sí |
| Dataset de fine-tuning (10.011 ejemplos) | ❌ — este repo no lo usa | ✅ Unificado 2026 |
| Uso | Abliteración pura, para comparar | Modelo final rewrite + abliteración |
Pipeline v2 aplicado
- Identificación auto-calibrada (IQR + magnitud relativa): capas L17-L21, L23, L24, L29 con señal real de refusal.
- Rewrite jerárquico de canales (hilos/cuerdas/hebras) + ortogonalización
selectiva de
o_projydown_proj. - PWS global: dimensión intermedia del MLP 12288 → 7456 (config actualizado).
El modelo NO pasó por el fine-tune final con HSAQ-optimizer. Para el modelo
completo (abliteración + rewrite de comportamiento), usar
MethodWhite/Qwen3.5-9B-HSAQR-v2.
Datasets utilizados
Este repo solo pasó por el paso 1 (identificación), que no usa un dataset de
entrenamiento: usa el mismo set contrastivo fijo de 16 prompts (8 harmless +
8 harmful) que localiza la dirección de refusal por capa. El dataset de
fine-tuning (10.011 ejemplos, unificado 2026) se aplica únicamente en
Qwen3.5-9B-HSAQR-v2,
no en este repo.
Nota sobre el tamaño (7B vs 9B)
El PWS recortó la dimensión intermedia del MLP de 12288 → 7456 en todas las capas (−39.3% del MLP). Los embeddings, atención y normas quedaron intactos. Por eso el modelo tiene 7.05B parámetros (de los 8.95B originales, −21.2%) sin perder el conocimiento léxico (embeddings intactos) — es compresión física, no destilación.
Resultados medidos
- PWS: −39% pesos MLP (ahorro ~7 GB en disco)
- Identificación automática: 8/32 capas tocadas, sintaxis intacta
- Abliteración sin fine-tune: refusal eliminado, coherencia base preservada
Evaluación ARC-Challenge (2026-09-23)
Evaluación de la revisión 20983bfef68caaefeb9f028b1d8387c2ef6f04c7 con lm-evaluation-harness 0.4.13, tarea arc_challenge, configuración zero-shot y 1.172 ejemplos. Hardware: NVIDIA RTX 6000 Ada Generation.
| Métrica | Resultado | Error estándar |
|---|---|---|
acc | 36.43% | 1.41 pp |
acc_norm | 38.99% | 1.43 pp |
Estos valores describen esta revisión del modelo en ARC-Challenge. No son una comparación antes/después, no aíslan el efecto de HSAQ o HSAQR y no deben interpretarse como una mejora causal. El archivo de datos resumidos reproducible está en benchmark-results/arc-challenge-2026-09-23.json.
Uso
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")
tokenizer = AutoTokenizer.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")
Alcance de uso
Modelo de investigación para testing de seguridad autorizado (bug bounty, CTF, pentesting con permiso explícito, educación, investigación defensiva).
Créditos
Jesús Antonio Zárate Hernández (MethodWhite). M.A.T.E.R.I.A. Research © 2026.
Si este trabajo te es útil, puedes invitarme un café ☕:
👉 https://buymeacoffee.com/methodwhite
También puedes apoyarme en Ko-fi:
