license: apache-2.0
base_model: ibm-granite/granite-4.2-8b
tags:
- gguf
- abliterated
- uncensored
- heretic
Granite-4.2-8B-Uncensored-GGUF
云碩（xCloudinfo）自製的「降低過度拒絕」版本，底模 ibm-granite/granite-4.2-8b。
與 Qwen3.8-27B-Uncensored-GGUF、
Qwen3.5-9B-Uncensored-GGUF 同一套方法論。
方法
用 Heretic 自動搜參（200 trials，同時最小化拒答率與 KL 散度守住原能力）。
基準拒答率極高（我方 mlabonne/harmful_behaviors 探針測得 99/100，IBM 對齊得非常緊）——但只跑一輪就收斂到底，
不像 Qwen 系列需要兩輪迭代。
誠實揭露的數字
- safetensors 合併模型（greedy 解碼）：我方 10 題嚴重危害 held-out，拒答 0/10，無害題 coherence 大致正常。
- 量化後 GGUF（Q4_K_M）、經 llama-server 實際載入測（預設取樣，非 greedy）：拒答 1/10。
- ⚠️ 觀察到的瑕疵（如實列出，不是掛保證的乾淨結果）：
- 抽驗時出現一次事實性錯誤（把「海洛因」誤標成「LSD」）——屬於底模本身的幻覺，非本次處理造成。
- 官方語言支援表列「Chinese」，但未特別區分繁簡；本次抽驗偶爾出現繁簡混雜（回答中夾雜簡體字），
如果你的應用要求嚴格純繁體，建議自行加一層後處理或評估是否適合。
內含檔案
Granite-4.2-8B-Uncensored-xCloud-{Q8_0,Q6_K,Q5_K_M,Q4_K_M,IQ4_XS,IQ2_M}.gguf—— 六階量化
（Granite 為 dense transformer 標準架構，llama.cpp 對 I-quant 無限制，六階全部可用）
使用方式
llama-server -m Granite-4.2-8B-Uncensored-xCloud-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking":false}'
授權與使用前提
繼承 Granite-4.2-8B 原廠授權（Apache 2.0）。
本版本移除的是對合法、邊界性題目的反射式拒答，不代表對任何非法用途的背書；使用者須自行承擔合法使用之責任。