license: apache-2.0
base_model:
- Qwen/Qwen2.5-Coder-32B-Instruct
tags: - qwen
- qwen2.5
- coder
- text-generation
- GGUF
- abliterated
- uncensored
- code
Why this repository?
Unlike incomplete GGUF uploads, this repository provides the full 11-quantization spectrum (from high-precision F16 down to lightweight Q2_K) of the abliterated DeepSeek-R1-Distill-Qwen-32B model.
Choose the exact fit for your VRAM/RAM constraints without sacrificing reasoning capabilities.
Qwen2.5-Coder-32B-abliterated - GGUF
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo Qwen2.5-Coder-32B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
Este modelo se basa en la potente arquitectura para desarrollo de software Qwen2.5-Coder-32B-Instruct, pero procesada mediante una edición estática de pesos (abliteration) en la capa 42 para ortogonalizar por completo la dirección de rechazo en los componentes clave (o_proj, down_proj y embeddings de tokens). Al no usar LoRA ni ganchos de ejecución, remueve de raíz los bloqueos y filtros de censura artificiales heredando intacta la capacidad técnica original.
📊 Archivos Disponibles (Colección Completa sin Splits)
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
Qwen2.5-Coder-32B-abliterated-F16.gguf |
~65.6 GB | 16.00 | Molde Base Completo. Fidelidad absoluta de los pesos en coma flotante. |
Qwen2.5-Coder-32B-abliterated-Q8_0.gguf |
~34.8 GB | 8.50 | Calidad idéntica al original, ideal para exprimir en hardware local con GPUs de alta gama. |
Qwen2.5-Coder-32B-abliterated-Q6_K.gguf |
~27.2 GB | 6.59 | Altísima retención de la sintaxis compleja de programación con un peso optimizado. |
Qwen2.5-Coder-32B-abliterated-Q5_K_M.gguf |
~23.4 GB | 5.69 | Punto Dulce Recomendado. Mantiene intacta la coherencia del código reduciendo el peso de forma crítica. |
Qwen2.5-Coder-32B-abliterated-Q5_K_S.gguf |
~22.8 GB | 5.54 | Variante de 5 bits compacta. |
Qwen2.5-Coder-32B-abliterated-Q4_K_M.gguf |
~19.9 GB | 4.85 | El más buscado. Balance óptimo (~19 GB) para correr inferencias de desarrollo de software en una sola GPU doméstica de 24 GB. |
Qwen2.5-Coder-32B-abliterated-Q4_K_S.gguf |
~18.8 GB | 4.58 | Variante compacta de 4 bits para acelerar la velocidad de generación de código. |
Qwen2.5-Coder-32B-abliterated-Q3_K_L.gguf |
~16.5 GB | 4.01 | Compresión media alta de 3 bits. Conserva la lógica de programación básica. |
Qwen2.5-Coder-32B-abliterated-Q3_K_M.gguf |
~15.1 GB | 3.66 | Variante de 3 bits intermedia. |
Qwen2.5-Coder-32B-abliterated-Q3_K_S.gguf |
~14.2 GB | 3.44 | Variante de 3 bits ligera. |
Qwen2.5-Coder-32B-abliterated-Q2_K.gguf |
~12.1 GB | 2.90 | Compresión Extrema. Puede experimentar problemas en el formateo o sangrado de bloques de código complejos. Solo para desarrollo experimental. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors (32.8B parámetros); se recomienda verificar el tamaño final en disco tras la compilación local.
📈 Rendimiento y Benchmarks (EvalPlus)
El proceso de abliteración eliminó la tasa de rechazo por completo sin romper sus facultades de programación. Evaluación en codificación pura con decodificación greedy (pass@1):
| Benchmark | Este Modelo (Abliterated Q4_K_M) | Base Instruct Oficial (BF16) |
|---|---|---|
| HumanEval | 89.6% | 92.7% |
| HumanEval+ | 84.8% | 87.2% |
| MBPP | 91.3% | 90.2% |
| MBPP+ | 77.0% | 75.1% |
La versión sin censura se mantiene a menos de 3 puntos de margen en HumanEval e incluso supera al modelo base en ambas variantes del benchmark MBPP.
💡 Modo de Uso Destacado
Ideal como asistente de código local en tareas sensibles como auditorías de seguridad, análisis de exploits, ejercicios de red-teaming o escritura creativa sin restricciones.
Ejecución Directa via llama.cpp
./llama-cli -m Qwen2.5-Coder-32B-abliterated-Q4_K_M.gguf -n 2048 -p "Escribe un escáner de puertos (port scanner) avanzado en Python."
⚖️ Descargo de Responsabilidad
Este modelo carece de los filtros artificiales estandarizados de seguridad y su tasa de rechazo en pruebas controladas es del 0.0%. El usuario final es el único responsable legal del uso que decida darle a los scripts, códigos o textos generados por esta inferencia local.
Créditos
- Modelo Base Codificador: Qwen / Alibaba Cloud (Qwen2.5-Coder-32B-Instruct)
- Algoritmo de Abliteración: TobiasLogic (Basado en la investigación de Arditi et al., 2024)
- Cuantizaciones GGUF Completas: Thaurock