license: other
tags:
- gguf
- qwen3.5
- deepseek
- uncensored
- abliterated
- text-generation
DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic (fixed GGUF)
修復版的 GGUF 量化檔，解決了原版 mradermacher 轉檔時遺失 MTP 權重、導致 llama.cpp 載入即崩潰（missing tensor blk.32.attn_norm.weight）的問題。
這個版本修了什麼
原版 GGUF 的 config.json 宣告了 mtp_num_hidden_layers=1（33 層，含 MTP 草稿層），但轉檔時那 15 個 mtp.* 權重被丟掉了，導致 llama.cpp 載入時找不到 blk.32.nextn.* 張量而直接崩潰。
本 repo 直接從上游作者 xtools-at 已修復的 safetensors（補回 model-mtp.safetensors）重新轉檔 + 量化，MTP 權重完整，可正常載入推理。
來源
- 上游模型：
xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic - 根因分析：感謝
istone的詳細報告（上游 repo discussion #1）
檔案
DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic.Q4_K_M.gguf— Q4_K_M 量化（5.5GB）
用法（llama.cpp）
llama-server -m DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic.Q4_K_M.gguf -ngl 99