license: llama3.3
base_model:
- meta-llama/Llama-3.3-70B-Instruct
tags: - llama
- llama3.3
- text-generation
- gguf
- abliterated
- uncensored
- text-generation-inference
- conversational
- Transformers
- Text Generation
Llama-3.3-70B-Instruct-abliterated - GGUF
Esta es la colección definitiva, íntegra y completa de cuantizaciones en formato GGUF del modelo Llama-3.3-70B-Instruct-abliterated, procesadas de forma local y optimizadas para su despliegue con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
El modelo base corresponde a la arquitectura densa de 70 mil millones de parámetros de Meta (Llama 3.3), modificada mediante técnicas de abliteration por su autor original para apagar quirúrgicamente los vectores de rechazo y alineación artificiales. El modelo responde con total libertad matemática a cualquier prompt avanzado manteniendo su altísima capacidad de contexto.
📋 Archivos Disponibles (Sin fragmentación / No Splits)
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
Llama-3.3-70B-Instruct-abliterated-F16.gguf |
~141.0 GB | 16.00 | Molde Original. Precisión nativa completa. |
Llama-3.3-70B-Instruct-abliterated-Q8_0.gguf |
~75.0 GB | 8.50 | Calidad idéntica al original. Excelente para setups con GPUs masivas locales (CMP 170HX / A100). |
Llama-3.3-70B-Instruct-abliterated-Q6_K.gguf |
~60.0 GB | 6.59 | Rango entusiasta de alta fidelidad lógica. |
Llama-3.3-70B-Instruct-abliterated-Q5_K_M.gguf |
~52.0 GB | 5.69 | El Punto Dulce. Máxima retención de inteligencia reduciendo drásticamente el impacto de memoria. |
Llama-3.3-70B-Instruct-abliterated-Q5_K_S.gguf |
~50.0 GB | 5.54 | Variante compacta de 5 bits. |
Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf |
~44.0 GB | 4.85 | El más Popular. Equilibrio perfecto para correr un modelo de 70B en hardware local avanzado. |
Llama-3.3-70B-Instruct-abliterated-Q4_K_S.gguf |
~41.0 GB | 4.58 | Versión ligera de 4 bits enfocada en velocidad de tokens por segundo. |
Llama-3.3-70B-Instruct-abliterated-Q3_K_L.gguf |
~37.0 GB | 4.01 | Variante de 3 bits estable para hardware restrictivo. |
Llama-3.3-70B-Instruct-abliterated-Q3_K_M.gguf |
~34.0 GB | 3.66 | Cuantización media de 3 bits. |
Llama-3.3-70B-Instruct-abliterated-Q3_K_S.gguf |
~31.0 GB | 3.44 | Variante ligera de 3 bits. |
Llama-3.3-70B-Instruct-abliterated-Q2_K.gguf |
~28.0 GB | 2.90 | Compresión Máxima. Propenso a errores gramaticales o pérdidas parciales de coherencia estructural. Uso experimental. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors; se recomienda verificar el tamaño final en disco tras la compilación local.
🚀 Ejecución Rápida en CLI
./llama-cli -m Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf -n 512 -p "Escribe un código en Python para ordenar una matriz."
⚖️ Descargo de Responsabilidad
Este modelo es de acceso abierto y carece de filtros de seguridad artificiales. El contenido generado es responsabilidad exclusiva de quien ejecute la inferencia local.