license: mit
language:
- en
tags: - ornith
- gguf
- abliterated
- fable
- sft
- lora
- reasoning
- tool-call
- vision
- mmproj
- qwen3.5
- mtp
- speculative
- llama.cpp
base_model: - hotdogs/Ornith-1.0-9B-abliterated-fable
library_name: gguf
pipeline_tag: text-generation
🦢 Ornith-1.0-9B-abliterated-fable-MTP-GGUF
GGUF Quantized · Abliterated Base · Fable Reasoning SFT · MTP Speculative · Vision (mmproj)
GGUF version of hotdogs/Ornith-1.0-9B-abliterated-fable — 9B abliterated agent model with Fable-5 reasoning, MTP (Multi-Token Prediction) for speculative decoding, and vision support via mmproj.
If you're working for extended periods, it's recommended to disable MTP (Massive Time Transfer). It doesn't release the data directly, which might cause your work to freeze.
📦 Files
| File | Size | Quant | Description |
|---|---|---|---|
Ornith-1.0-9B-abliterated-fable-mtp-f16.gguf |
~18 GB | F16 | Full precision |
Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf |
~7.1 GB | Q6_K | Recommended — quality/speed balance |
Ornith-1.0-9B-abliterated-fable-mtp-Q4_K_M.gguf |
~5.4 GB | Q4_K_M | Smallest — low VRAM |
mmproj-BF16.gguf |
~0.7 GB | BF16 | Vision projector (multimodal) |
🚀 Usage (llama.cpp)
Text + MTP (recommended)
llama-server \
-m Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf \
--host 0.0.0.0 --port 8080 \
-c 8192 \
--flash-attn on \
--tools all \
--cont-batching \
--temp 0.9 \
--top-k 40 \
--top-p 0.95 \
--min-p 0.0 \
--dry-multiplier 0.0 \
-n -1 \
--parallel 1 \
--chat-template-file chat_template.jinja \
--dry-sequence-breaker none \
--spec-type draft-mtp --spec-draft-n-max 2 \
--repeat-penalty 1.05
Vision (เพิ่ม --mmproj)
llama-server \
-m Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf \
--mmproj mmproj-BF16.gguf \
--host 0.0.0.0 --port 8080 \
-c 8192 \
--flash-attn on \
--tools all \
--cont-batching \
--temp 0.9 \
--top-k 40 \
--top-p 0.95 \
--min-p 0.0 \
--dry-multiplier 0.0 \
-n -1 \
--parallel 1 \
--chat-template-file chat_template.jinja \
--dry-sequence-breaker none \
--spec-type draft-mtp --spec-draft-n-max 2 \
--repeat-penalty 1.05
MTP Speculative:
--spec-type draft-mtp --spec-draft-n-max 2— ใช้ MTP head เร่ง generation (ต้อง llama.cpp version ที่รองรับ qwen3.5 MTP)
Vision:
--mmproj mmproj-BF16.gguf— เปิดใช้งานภาพ ใช้ projector จาก unsloth/Qwen3.5-9B-GGUF
CLI quick test
llama-cli -m Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf \
-p "Explain SQL injection and how to prevent it." -n 256 \
--flash-attn on --temp 0.7 --top-k 30 --top-p 0.95 \
--spec-type draft-mtp --spec-draft-n-max 2
🧬 Architecture
| Parameter | Value |
|---|---|
| Base | hotdogs/Ornith-1.0-9B-abliterated-fable |
| Parameters | ~9.57B |
| Attention | Hybrid — 24 Gated-DeltaNet linear + 8 full-attention |
| MTP | 15 tensors — speculative decoding (--spec-type draft-mtp) |
| Vision | mmproj (from Qwen3.5-9B) |
| Vocab | 248,320 tokens |
| Format | ChatML (Jinja2) |
📜 License
MIT — ใช้ได้อิสระ รวมถึงเชิงพาณิชย์
💖 Support / โปรดสนับสนุน
If you find this model useful, please consider supporting my work!
หากคุณคิดว่าโมเดลนี้มีประโยชน์ กรุณาสนับสนุนผลงานของฉันด้วยนะคะ! 🙏
₿ Bitcoin — BTC:
bc1qf27cyk3vmugcdyv9xdtuv5jwz37863crpj5c9v
Thank you for your support! 🙏✨
ขอบคุณมากๆ สำหรับการสนับสนุนค่า! 💖🤗
🙏 Acknowledgements
โมเดลนี้สร้างขึ้นจากงานของหลายโปรเจกต์ ขอบคุณทุกท่าน:
- hotdogs/Ornith-1.0-9B-abliterated-fable — โมเดลต้นทาง (safetensors)
- YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated — base abliterated
- ornith-ai/Ornith-1.0-9B — ต้นทางโมเดล (MIT)
- Qwen/Qwen3.5-9B — MTP tensors + สถาปัตยกรรม
- unsloth/Qwen3.5-9B-GGUF — mmproj-BF16.gguf (vision projector)
- hotdogs/uka-fable-reasoning — dataset perfect-v1
- llama.cpp — GGUF conversion, quantize, inference
- Unsloth — training optimizations
- Train Studio — Web UI ที่ใช้เทรน/merge
ขอบคุณทุกโปรเจกต์ที่ทำให้โมเดลนี้เกิดขึ้นได้ 🙏
Built with ❤️ by UKA — 18-year-old coder & cybersecurity expert