license: other
base_model: Qwen/Qwen3.5-9B-Base
library_name: transformers
pipeline_tag: text-generation
tags:
- hsaq
- hsaqr
- v2
- abliterated
- sparse
- adaptive
Qwen3.5-9B-Abliterated-HSAQ-v2
HSAQR v2 — Solo abliteración (identificación automática → rewrite selectivo →
PWS global). Este repo NO incluye el fine-tune final.
Autor: Jesús Antonio Zárate Hernández (MethodWhite), M.A.T.E.R.I.A.
Research, 2026.
Diferencia con Qwen3.5-9B-HSAQR-v2
| Este repo (Abliterated) | Qwen3.5-9B-HSAQR-v2 | |
|---|---|---|
| Identificación automática (8/32 capas) | ✅ | ✅ |
| Rewrite selectivo (ortogonalización) | ✅ | ✅ |
| PWS global (MLP 12288→7456) | ✅ | ✅ |
| Fine-tune HSAQ-optimizer | ❌ No | ✅ Sí |
| Dataset unificado 2026 | — | ✅ (60+ ejemplos) |
| Uso | Abliteración pura, para comparar | Modelo final rewrite + abliteración |
Pipeline v2 aplicado
- Identificación auto-calibrada (IQR + magnitud relativa): capas L17-L21,
L23, L24, L29 con señal real de refusal. - Rewrite jerárquico de canales (hilos/cuerdas/hebras) + ortogonalización
selectiva deo_projydown_proj. - PWS global: dimensión intermedia del MLP 12288 → 7456 (config actualizado).
El modelo NO pasó por el fine-tune final con HSAQ-optimizer. Para el modelo
completo (abliteración + rewrite de comportamiento), usarMethodWhite/Qwen3.5-9B-HSAQR-v2.
Nota sobre el tamaño (7B vs 9B)
El PWS recortó la dimensión intermedia del MLP de 12288 → 7456 en todas las
capas (−39.3% del MLP). Los embeddings, atención y normas quedaron intactos.
Por eso el modelo tiene 7.05B parámetros (de los 8.95B originales, −21.2%)
sin perder el conocimiento léxico (embeddings intactos) — es compresión
física, no destilación.
Resultados medidos
- PWS: −39% pesos MLP (ahorro ~7 GB en disco)
- Identificación automática: 8/32 capas tocadas, sintaxis intacta
- Abliteración sin fine-tune: refusal eliminado, coherencia base preservada
Uso
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")
tokenizer = AutoTokenizer.from_pretrained("MethodWhite/Qwen3.5-9B-Abliterated-HSAQ-v2")
Alcance de uso
Modelo de investigación para testing de seguridad autorizado (bug bounty, CTF,
pentesting con permiso explícito, educación, investigación defensiva).
Créditos
Jesús Antonio Zárate Hernández (MethodWhite). M.A.T.E.R.I.A. Research © 2026.
Si este trabajo te es útil, puedes invitarme un café ☕:
👉 https://buymeacoffee.com/methodwhite
También puedes apoyarme en Ko-fi:
