license: apache-2.0
base_model: huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated
base_model_relation: quantized
pipeline_tag: image-text-to-text
language:
- en
- zh
tags: - exl3
- qwen3.8
- qwen3_5
- mtp
- speculative-decoding
- multimodal
- abliterated
- exllamav3
Qwen3.8-27B Coder390 消融版 — EXL3 3.5 bpw
huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 BF16 權重，用 exllamav3 1.4.2 轉成的 EXL3。消融方式見那張模型卡：只動了第 2 到 52 層。這份卡只說明這次量化。
這是一個可以單獨使用的檢查點。文字塔、視覺塔和 MTP 頭都在同一個目錄裡。沒有附 DFlash2。
這個 EXL3 沒有重跑評測。來源模型卡上的分數是消融前的 BF16，不是這份 3.5 bpw。
量化
來源目錄的 model-00001、model-00002，加上索引裡的 mtp-bf16.safetensors。2026-10-13 在 NVIDIA GB10 上轉完。推理目標是 RTX 3090（24 GB）。
| 部分 | 位元率 |
|---|---|
| 文字塔線性層 | 平均 3.5 bpw（校正 250 列 × 2048 token，codebook mul1，output scales 始終開啟） |
lm_head |
6 |
| MTP 的 8 個線性層 | 4。文字塔量化完才壓，寫進同一份 safetensors |
| 視覺塔、embedding、norm | BF16 |
目錄大約 14.3 GiB。架構仍是 Qwen3_5ForConditionalGeneration：64 層混合注意力（每 4 層一次 full attention），hidden 5120，詞表 248320，上下文 262144。generation_config.json 裡是 temperature 1.0、top_p 0.95、top_k 20。
MTP 的 39 個張量和視覺塔的 333 個張量都在 model-00002-of-00002.safetensors。輸出目錄沒有獨立的 mtp-*.safetensors。
怎麼載入
MTP 頭已經在這個目錄裡。下面的路徑換成你放權重的目錄。
RTX 3090 的三個旗標。直接呼叫時加上 --max_model_len 262144，對外公布的上下文才是原生的 262144：
python -u tools/serve_openai.py \
-m /path/to/qwen3.8-27b-coder390-effthink-abliterated-EXL3-3.5bpw \
-dm mtp \
-cs 270336 \
-cq 3 \
--max_model_len 262144 \
--host 127.0.0.1 \
--port 5000
-dm mtp：用這個檢查點裡的 MTP 頭做草稿。mtp不是路徑，不會再載第二個模型。預設窗口是 4 個 token。-cs 270336：KV cache 的 token 格數。262144 是模型上下文，多 8192 給推測解碼的驗證窗。必須是 256 的倍數。-cq 3：K 和 V 都是 3 bit。不寫就是 fp16，262144 在 24 GB 上放不下。fp8和nvfp4配上這個長度也分配不出來。
start.sh 的 .env。DRAFT=mtp、CACHE_QUANT=3 就是上面兩個旗標。CONTEXT_SIZE=262144 時，start.sh 會自己把 cache 設成 270336：
MODEL_DIR=/path/to/qwen3.8-27b-coder390-effthink-abliterated-EXL3-3.5bpw
DRAFT=mtp
CONTEXT_SIZE=262144
CACHE_QUANT=3
GPU_MEM_GB 留空時，24 GB 卡會用 22。
視覺塔的 BF16 權重在這個檢查點裡。這次轉換沒有跑過圖像輸入。
授權
Apache-2.0，沿用來源的消融模型。