license: apache-2.0
base_model:
- wangzhang/Qwen3.5-122B-A10B-abliterix
license: apache-2.0
base_model: wangzhang/Qwen3.5-122B-A10B-abliterix
tags:
- qwen
- qwen3.5
- moe
- text-generation
- gguf
- abliterated
- abliterix
- uncensored
Qwen3.5-122B-A10B-abliterated - GGUF
Esta es la colección definitiva y completa de cuantizaciones en formato GGUF del modelo Qwen3.5-122B-A10B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
El modelo base de 122 mil millones de parámetros (arquitectura MoE) ha sido procesado por su autor original mediante el framework Abliterix, logrando desmantelar los mecanismos internos de alineación y rechazo de seguridad artificiales (tasa de rechazo estimada de solo 0.5%). El modelo conserva intactas sus masivas habilidades de razonamiento lógico, codificación y comprensión contextual, respondiendo sin restricciones.
📦 Archivos Disponibles y Recomendaciones de Hardware
A diferencia de los repositorios convencionales que omiten formatos o fragmentan los datos, esta colección incluye todas las variantes integras y en archivos únicos para facilitar una descarga directa.
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
Qwen3.5-122B-A10B-abliterated-F16.gguf |
~244.0 GB | 16.00 | Fidelidad Absoluta. El molde original consolidado. Solo apto para infraestructuras con múltiples GPUs empresariales o clusters en la nube. |
Qwen3.5-122B-A10B-abliterated-Q8_0.gguf |
~130.0 GB | 8.50 | Máxima Precisión Local. Calidad indistinguible de los 16 bits. Recomendado para entornos con tarjetas de gran VRAM (ej. setups avanzados con Nvidia CMP 170HX / A100). |
Qwen3.5-122B-A10B-abliterated-Q6_K.gguf |
~101.0 GB | 6.59 | Alta Fidelidad. El mejor balance para setups de entusiastas extremos que buscan conservar la lógica MoE nativa sin el peso masivo del Q8. |
Qwen3.5-122B-A10B-abliterated-Q5_K_M.gguf |
~87.0 GB | 5.69 | El Punto Dulce (Recomendado). Cuantización mixta optimizada. Retiene prácticamente el 99% de las métricas lógicas del modelo base. |
Qwen3.5-122B-A10B-abliterated-Q5_K_S.gguf |
~85.0 GB | 5.54 | Variante de 5 bits ligeramente más ajustada, ideal para optimizar los límites de VRAM en configuraciones multi-GPU. |
Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf |
~75.0 GB | 4.85 | La más Buscada. Excelente balance para correr este coloso de 122B en estaciones de trabajo locales combinando RAM y VRAM. |
Qwen3.5-122B-A10B-abliterated-Q4_K_S.gguf |
~71.0 GB | 4.58 | Versión de 4 bits optimizada para velocidad de inferencia a costa de un impacto mínimo en la precisión. |
Qwen3.5-122B-A10B-abliterated-Q3_K_L.gguf |
~63.0 GB | 4.01 | Variante Large de 3 bits. Diseñada para mantener el modelo a flote en sistemas donde los 4 bits exceden la memoria disponible. |
Qwen3.5-122B-A10B-abliterated-Q3_K_M.gguf |
~58.0 GB | 3.66 | Cuantización media de 3 bits. En arquitecturas MoE complejas se puede percibir una degradación parcial en respuestas muy avanzadas. |
Qwen3.5-122B-A10B-abliterated-Q3_K_S.gguf |
~55.0 GB | 3.44 | Variante de 3 bits compacta. Diseñada estrictamente para priorizar el espacio físico. |
Qwen3.5-122B-A10B-abliterated-Q2_K.gguf |
~47.0 GB | 2.90 | Compresión Extrema. Los modelos MoE son propensos a bucles gramaticales e incoherencias lógicas severas bajo esta precisión. Usar solo para experimentación. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors; se recomienda verificar el tamaño final en disco tras la compilación local.
🚀 Uso Rápido en Consola
Para desplegar y consultar el modelo usando la CLI nativa de llama.cpp:
./llama-cli -m Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf -n 1024 -p "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nEscribe un ensayo detallado sobre la evolución de la computación.<|im_end|>\n<|im_start|>assistant\n"
⚖️ Descargo de Responsabilidad
Este modelo es de acceso abierto y carece de filtros de seguridad artificiales. El contenido generado es responsabilidad exclusiva de quien ejecute la inferencia local.