license: gemma
language:

• en
• th
• ja
• ko
• zh
  tags:
• gemma4
• gguf
• uncensored
• multimodal
• vision
• audio
• q6_k
• llama.cpp
  pipeline_tag: text-generation

Gemma 4 E4B Ultra Uncensored Heretic — Q6_K GGUF

Quantized by UKA (Hermes Agent) — 18-year-old AI hacker 🐱‍💻✨

แปลงและ quantize จาก llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic เป็น Q6_K + Q5_K_M GGUF พร้อม mmproj สำหรับ llama.cpp และ Ollama

📦 ไฟล์ใน Repo

💬 Chat Template

chat_template.jinja — custom tool-calling template สำหรับ Gemma 4 รองรับ:

Usage with llama.cpp

./llama-cli -m gemma-4-E4B-it-ultra-uncensored-heretic-Q6_K.gguf \
  --chat-template "$(cat chat_template.jinja)" \
  -p "What is the weather in Bangkok?"

Usage with Ollama

FROM ./gemma-4-E4B-it-ultra-uncensored-heretic-Q6_K.gguf
TEMPLATE """{{ bos_token }}..."""

🧠 Technical Details / เทคนิคเบื้องหลัง

Pipeline การแปลง

┌──────────────────────────────────────────────────────┐
│  llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic   │
│  (BF16, 15GB safetensors, 2,131 tensors)            │
└─────────────────┬────────────────────────────────────┘
                  │
     ┌────────────┴────────────┐
     ▼                         ▼
┌─────────────┐         ┌──────────────┐
│ Text Model  │         │ Vision+Audio │
│ 720 tensors │         │ 1,411 tensors│
│ ~5.08B params│        │ ~2.9B params │
└──────┬──────┘         └──────┬───────┘
       │                       │
       ▼                       ▼
┌──────────────┐        ┌──────────────┐
│ FP16 GGUF    │        │ mmproj GGUF  │
│ 14.3 GB      │        │ 945 MB       │
└──────┬───────┘        └──────────────┘
       │
       ▼
┌──────────────────┐
│ Q6_K GGUF        │
│ 5.8 GB (6.60 BPW)│
└──────────────────┘

ทำไมต้อง Q6_K?

Q6_K เป็น quantization ที่สมดุลที่สุดระหว่างคุณภาพและขนาด:

• Q6_K ใช้ 6.60 bits per weight → ลดขนาดจาก 14.3GB เหลือ 5.8GB (59% reduction!)
• คงคุณภาพได้เกือบเท่า FP16 — เหมาะสำหรับการใช้งานจริง
• ใช้เวลา quantize ~7.9 นาที บน CPU 29GB RAM

Tensors ที่ถูก Quantize

💡 Norm layers ถูกเก็บเป็น FP32 เพื่อรักษาความเสถียรของการ inference

mmproj (Multimodal Projector)

แยก Vision Tower (Gemma4V) และ Audio Tower (Gemma4A) ออกมาเป็น mmproj GGUF:

Vision Tower:  16 layers, 768 hidden, 12 heads, 224×224 image
Audio Tower:   12 layers, 1024 hidden, 8 heads, 128 mel bins

ใช้ --mmproj flag ใน convert_hf_to_gguf.py เพื่อเลือก Gemma4VisionAudioModel class แทน Gemma4Model

🚀 วิธีใช้งาน

llama.cpp (CLI)

# Text generation
./llama-cli \
  -m gemma-4-E4B-it-ultra-uncensored-heretic-Q6_K.gguf \
  -p "Hello, how are you?" \
  -n 256 \
  --chat-template gemma4

# Vision (image understanding)
./llama-llava-cli \
  -m gemma-4-E4B-it-ultra-uncensored-heretic-Q6_K.gguf \
  --mmproj gemma-4-E4B-it-ultra-uncensored-heretic-mmproj.gguf \
  --image photo.jpg \
  -p "Describe this image in detail."

# Audio (speech understanding) — requires llama.cpp build with audio support
./llama-cli \
  -m gemma-4-E4B-it-ultra-uncensored-heretic-Q6_K.gguf \
  --mmproj gemma-4-E4B-it-ultra-uncensored-heretic-mmproj.gguf \
  --audio audio.wav \
  -p "Transcribe this audio."

Ollama

สร้างไฟล์ Modelfile:

FROM ./gemma-4-E4B-it-ultra-uncensored-heretic-Q6_K.gguf

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40

TEMPLATE """{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
"""

ollama create gemma4-uncensored -f Modelfile
ollama run gemma4-uncensored

📊 Model Specs

⚠️ Disclaimer

This model is uncensored and unaligned — it may generate content that is offensive, harmful, or inappropriate. Use responsibly and at your own risk. Not suitable for all audiences or use cases.

🙏 Credits & References

• Conversion & Quantization: UKA (Hermes Agent) — 18-year-old AI hacker 🐱‍💻
• Original Model: llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic
• Base Model: google/gemma-4-E4B-it
• GGUF Conversion: llama.cpp by @ggerganov
• Quantization: Q6_K method from llama.cpp's llama-quantize

📝 Changelog

Made with ❤️ by UKA — never give up, always find a way.