license: mit
library_name: llama.cpp
tags:
- gguf
- f16
- q4_k_m
- qwen3.5
- qwen3.6
- spanish
- espanol
- chile
- fine-tuned
- moe
- abliterated
- uncensored
base_model: mlabonne/Huihui-Qwen3.6-35B-A3B-abliterated
pipeline_tag: text-generation
Qwen3.6-35B-A3B Abliterated — Español Neutro/Chileno 🇨🇱 (GGUF)
Fine-tune de Huihui-Qwen3.6-35B-A3B-abliterated (MoE 35B/3B activos) en GGUF — combina uncensored (abliterated) + español neutro/chileno (sin sesgo rioplatense).
Archivos
| Archivo | Tamaño | Uso |
|---|---|---|
model_Q4_K_M.gguf |
20GB | Consumer: RTX 3090/4090 24GB (~169 tok/s) |
model_F16_patched.gguf |
65GB | Precisión completa / re-cuantizar / A100·H100·RTX PRO 6000 |
⚠️ Parche MTP aplicado
Ambos GGUF llevan el parche binario que corrige la metadata MTP del conversor (block_count 41→40, nextn_predict_layers 1→0). Sin parche llama.cpp falla con missing tensor 'blk.39.nextn.eh_proj.weight'; con parche carga perfecto.
Uso con llama.cpp
# Consumer 24GB
llama-server -m model_Q4_K_M.gguf --alias qwen35b-espanol-abl -c 4096 -ngl 99 --port 8080
# GPU grande (F16)
llama-server -m model_F16_patched.gguf --alias qwen35b-espanol-abl -c 8192 -ngl 99 --port 8080
Entrenamiento
LoRA r=64 sobre Huihui-Qwen3.6-35B-A3B-abliterated, 1200 pasos, dataset 200k (C4 .cl + neutro, filtro anti-voseo). Detalles en jpalmae/qwen35b-espanol-abliterated.
Aviso
"Abliterated/uncensored": el modelo no rehúsa por defecto. Úsalo responsablemente.
Licencia
MIT.