license: apache-2.0
base_model:
- huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated
tags: - deepseek
- deepseek-r1
- qwen
- text-generation
- GGUF
- abliterated
- uncensored
- reasoning
Why this repository?
Unlike incomplete GGUF uploads, this repository provides the full 11-quantization spectrum (from high-precision F16 down to lightweight Q2_K) of the abliterated DeepSeek-R1-Distill-Qwen-32B model.
Choose the exact fit for your VRAM/RAM constraints without sacrificing reasoning capabilities.
DeepSeek-R1-Distill-Qwen-32B-abliterated - GGUF
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo DeepSeek-R1-Distill-Qwen-32B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
Este modelo combina la destilación de razonamiento avanzado (capacidad de pensamiento lógico profundo mediante tags <think>) basada en el potente modelo Qwen-32B de Alibaba, pero procesada con técnicas de abliteration para remover de raíz los bloqueos y filtros de censura artificiales del sistema, respondiendo sin restricciones.
📋 Archivos Disponibles (Colección Completa sin Splits)
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
DeepSeek-R1-Distill-Qwen-32B-abliterated-F16.gguf |
~65.6 GB | 16.00 | Molde Base Completo. Fidelidad absoluta de los pesos en coma flotante. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q8_0.gguf |
~34.8 GB | 8.50 | Calidad idéntica al original, ideal para exprimir en hardware local con GPUs de alta gama. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q6_K.gguf |
~27.2 GB | 6.59 | Altísima retención del árbol de razonamiento lógico con un peso optimizado. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q5_K_M.gguf |
~23.4 GB | 5.69 | Punto Dulce Recomendado. Mantiene intacta la coherencia del pensamiento profundo reduciendo el peso de forma crítica. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q5_K_S.gguf |
~22.8 GB | 5.54 | Variante de 5 bits compacta. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q4_K_M.gguf |
~19.9 GB | 4.85 | El más buscado. Balance óptimo para correr inferencias de razonamiento de 32B en setups hogareños avanzados. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q4_K_S.gguf |
~18.8 GB | 4.58 | Variante compacta de 4 bits para acelerar la velocidad de tokens por segundo. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q3_K_L.gguf |
~16.5 GB | 4.01 | Compresión media alta de 3 bits. Conserva el razonamiento básico. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q3_K_M.gguf |
~15.1 GB | 3.66 | Variante de 3 bits intermedia. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q3_K_S.gguf |
~14.2 GB | 3.44 | Variante de 3 bits ligera. |
DeepSeek-R1-Distill-Qwen-32B-abliterated-Q2_K.gguf |
~12.1 GB | 2.90 | Compresión Extrema. Puede experimentar problemas menores en la estructura de las etiquetas de pensamiento internas. Solo para desarrollo experimental. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors (32.8B parámetros); se recomienda verificar el tamaño final en disco tras la compilación local.
💡 Modo de Uso Destacado
Al ser un modelo de razonamiento profundo destilado, se recomienda utilizar un formato de prompt limpio que respete la generación nativa de la cadena de pensamiento en tu terminal:
./llama-cli -m DeepSeek-R1-Distill-Qwen-32B-abliterated-Q4_K_M.gguf -n 2048 -p "¿Cómo funciona la criptografía de curva elíptica?"
Tip de uso: Si notas que el modelo omite la etiqueta
<think>o intenta negarse inicialmente ante un prompt ambiguo, puedes guiar la inferencia dándole un ejemplo previo o prellenando la respuesta del asistente con el tag<think>abierto para forzar la cadena de razonamiento libre de restricciones.
⚖️ Descargo de Responsabilidad
Este modelo es de acceso abierto y carece de filtros de seguridad artificiales debido al proceso experimental de abliteración. El contenido generado y las reflexiones lógicas resultantes son responsabilidad exclusiva de quien ejecute la inferencia local.