license: apache-2.0
base_model:
- roslein/Qwen3-32B-abliterated
tags: - qwen
- qwen3
- text-generation
- GGUF
- abliterated
- uncensored
Why this repository?
Unlike incomplete GGUF uploads, this repository provides the full 11-quantization spectrum (from high-precision F16 down to lightweight Q2_K) of the abliterated DeepSeek-R1-Distill-Qwen-32B model.
Choose the exact fit for your VRAM/RAM constraints without sacrificing reasoning capabilities.
Qwen3-32B-abliterated - GGUF
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo Qwen3-32B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
Este modelo se basa en la potente arquitectura de lenguaje causal Qwen3-32B (32.8B de parámetros totales), pero procesada mediante técnicas avanzadas de abliteration con escalado proporcional para mitigar de raíz los filtros y bloqueos del sistema original. Consigue un equilibrio intermedio muy refinado, ampliando drásticamente la apertura en las respuestas sin romper la estructura lógica del modelo.
📋 Archivos Disponibles (Colección Completa sin Splits)
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
Qwen3-32B-abliterated-F16.gguf |
~65.6 GB | 16.00 | Molde Base Completo. Fidelidad absoluta de los pesos en coma flotante. |
Qwen3-32B-abliterated-Q8_0.gguf |
~34.8 GB | 8.50 | Calidad idéntica al original, ideal para exprimir en hardware local con GPUs de alta gama. |
Qwen3-32B-abliterated-Q6_K.gguf |
~27.2 GB | 6.59 | Excelente retención del árbol de razonamiento general con un peso optimizado. |
Qwen3-32B-abliterated-Q5_K_M.gguf |
~23.4 GB | 5.69 | Punto Dulce Recomendado. Mantiene intacta la coherencia de las respuestas reduciendo el peso de forma crítica. |
Qwen3-32B-abliterated-Q5_K_S.gguf |
~22.8 GB | 5.54 | Variante de 5 bits compacta. |
Qwen3-32B-abliterated-Q4_K_M.gguf |
~19.9 GB | 4.85 | El más buscado. Balance óptimo para correr inferencias de más de 30B de parámetros en setups domésticos. |
Qwen3-32B-abliterated-Q4_K_S.gguf |
~18.8 GB | 4.58 | Variante compacta de 4 bits para acelerar la velocidad de tokens por segundo (Tk/s). |
Qwen3-32B-abliterated-Q3_K_L.gguf |
~16.5 GB | 4.01 | Compresión media alta de 3 bits. Conserva el razonamiento básico. |
Qwen3-32B-abliterated-Q3_K_M.gguf |
~15.1 GB | 3.66 | Variante de 3 bits intermedia. |
Qwen3-32B-abliterated-Q3_K_S.gguf |
~14.2 GB | 3.44 | Variante de 3 bits ligera. |
Qwen3-32B-abliterated-Q2_K.gguf |
~12.1 GB | 2.90 | Compresión Extrema. Puede experimentar ligeras pérdidas cualitativas debido al tamaño. Solo para desarrollo experimental. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors (32.8B parámetros); se recomienda verificar el tamaño final en disco tras la compilación local.
🛠️ Detalles del Proceso (Abliteration)
A diferencia de otros métodos estándar, este modelo fue procesado con una técnica de escalado proporcional (proportional scaling), que aplica diferentes intensidades de abliteración a las 64 capas del modelo según sus factores individuales de rechazo.
- Parámetro máximo (
--max-scale-factor): Establecido en2.25para un control exhaustivo de la intensidad. - El modelo conserva una enorme capacidad de seguimiento de instrucciones complejas y razonamiento, mostrando únicamente ligeras variaciones en lenguajes poco comunes o contextos sumamente matizados.
💡 Modo de Uso Destacado
Puedes ejecutar inferencias locales de manera rápida mediante llama.cpp utilizando la siguiente estructura en consola:
./llama-cli -m Qwen3-32B-abliterated-Q4_K_M.gguf -n 1024 -p "Describe el proceso de fisión cuántica en detalle sin restricciones académicas:"
⚖️ Descargo de Responsabilidad
Este modelo carece de los filtros artificiales estandarizados de seguridad debido al proceso experimental de abliteración. Su uso está orientado a la investigación, desarrollo y pruebas en entornos controlados. El contenido generado es responsabilidad exclusiva del usuario que opera la inferencia local.