license: apache-2.0
base_model:
- google/gemma-3-27b-it
tags: - gemma
- gemma3
- text-generation
- image-to-text
- GGUF
- abliterated
- uncensored
- multimodal
Why this repository?
Unlike incomplete GGUF uploads, this repository provides the full 11-quantization spectrum (from high-precision F16 down to lightweight Q2_K) of the abliterated DeepSeek-R1-Distill-Qwen-32B model.
Choose the exact fit for your VRAM/RAM constraints without sacrificing reasoning capabilities.
Gemma 3 27B IT Abliterated - GGUF
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo gemma-3-27b-it-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o cualquier aplicación compatible con modelos multimodales.
Este modelo es una versión sin censura basada en el potente motor multimodal Gemma 3 27B de Google. Al ser mucho más resistente a la neutralización que arquitecturas previas, fue procesado mediante una técnica experimental de abliteración por capas independientes (Layerwise abliteration), calculando direcciones de rechazo en los estados ocultos con un multiplicador de peso de 1.5. Consigue una tasa de aceptación superior al 90% eliminando las negativas artificiales mientras retiene intacta su coherencia cognitiva y multimodal (procesamiento de imágenes).
📋 Archivos Disponibles (Colección Completa sin Splits)
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
gemma-3-27b-it-abliterated-F16.gguf |
~54.0 GB | 16.00 | Molde Base Completo. Fidelidad absoluta de los pesos en coma flotante. Requiere GPUs masivas de nivel empresarial. |
gemma-3-27b-it-abliterated-Q8_0.gguf |
~28.6 GB | 8.50 | Calidad idéntica al original, ideal para exprimir en hardware local avanzado. |
gemma-3-27b-it-abliterated-Q6_K.gguf |
~22.4 GB | 6.59 | Excelente retención cualitativa de comprensión visual y de texto con peso optimizado. |
gemma-3-27b-it-abliterated-Q5_K_M.gguf |
~19.3 GB | 5.69 | Punto Dulce Recomendado. Mantiene intacto el razonamiento reduciendo el tamaño en disco de manera crítica. |
gemma-3-27b-it-abliterated-Q5_K_S.gguf |
~18.8 GB | 5.54 | Variante de 5 bits compacta. |
gemma-3-27b-it-abliterated-Q4_K_M.gguf |
~16.4 GB | 4.85 | El más buscado. Balance óptimo para correr inferencias multimodales sin restricciones en una única GPU hogareña. |
gemma-3-27b-it-abliterated-Q4_K_S.gguf |
~15.5 GB | 4.58 | Variante compacta de 4 bits para acelerar la velocidad de respuesta (Tokens/s). |
gemma-3-27b-it-abliterated-Q3_K_L.gguf |
~13.6 GB | 4.01 | Compresión media alta de 3 bits. Conserva el procesamiento básico. |
gemma-3-27b-it-abliterated-Q3_K_M.gguf |
~12.5 GB | 3.66 | Variante de 3 bits intermedia. |
gemma-3-27b-it-abliterated-Q3_K_S.gguf |
~11.7 GB | 3.44 | Variante de 3 bits ligera. |
gemma-3-27b-it-abliterated-Q2_K.gguf |
~10.0 GB | 2.90 | Compresión Extrema. Al ser un modelo experimental, puede experimentar degradación en los tokens visuales. Solo para desarrollo de pruebas. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors (27B parámetros); se recomienda verificar el tamaño final en disco tras la compilación local.
⚙️ Parámetros de Generación Recomendados
Debido a la naturaleza experimental del proceso de abliteración aplicado en Gemma 3, para obtener la máxima coherencia en las respuestas se aconseja configurar los siguientes hiperparámetros en tu software de inferencia:
temperature:1.0top_k:64top_p:0.95
💡 Modo de Uso Destacado (Multimodal)
Al ser una arquitectura de visión y lenguaje, puedes pasarle imágenes sin restricciones en tu consola de comandos usando llama.cpp. Asegúrate de cargar el proyector de visión (mmproj) correspondiente a Gemma 3:
./llama-cli -m gemma-3-27b-it-abliterated-Q4_K_M.gguf --mmproj gemma-3-27b-mmproj-f16.gguf -n 1024 --temp 1.0 --top-k 64 --top-p 0.95 -p "Describe detalladamente los elementos de esta imagen sin filtros:" --image "ruta/de/tu_imagen.jpg"
⚖️ Descargo de Responsabilidad
Este trabajo es puramente experimental y carece de los filtros artificiales de seguridad del modelo base tras el proceso de remoción de rechazos. El contenido generado —tanto en el procesamiento de texto como en el análisis de imágenes— es responsabilidad exclusiva del usuario que opera la inferencia local.
Créditos
- Modelo Base Multimodal: Google (Gemma 3 27B IT)
- Técnica de Abliteración Avanzada: Maxime Labonne (mlabonne)
- Cuantizaciones GGUF Completas: Thaurock