license: apache-2.0
language:
- zh
- en
pipeline_tag: text-generation
tags: - ninfer
- qwen
- uncensored
- abliterated
- text-generation
Qwen3.8-27B-Uncensored-ninfer
NInfer engine native format — This is an abliterated (uncensored) build of Qwen3.8-27B, converted to the
.ninferformat exclusively for the NInfer inference engine. It is not a generic HF safetensors checkpoint and cannot be loaded withtransformersdirectly; it requires the NInfer engine.
NInfer 引擎特供格式 —— 这是 Qwen3.8-27B 的 abliterated（去对齐 / 破限）版本，专为 NInfer 推理引擎转换的
.ninfer格式（不是通用 HF safetensors，无法用 transformers 直接加载）。
简介 / Overview
Qwen3.8-27B 的社区破限版，量化配方 groupwise-int-5080（Q3/Q4/Q5 混合，15.33 GB），适配 16GB 显存的 RTX 5070 Ti / 5080。
An abliterated (refusal-direction-removed) build of Qwen3.8-27B, quantized with the groupwise-int-5080 recipe (mixed Q3/Q4/Q5, 15.33 GB), targeting 16 GB cards (RTX 5070 Ti / 5080).
致谢 / Acknowledgements
站在以下工作之上 / Built on top of:
- 基座模型 Base model: Qwen/Qwen3.8-27B — Alibaba Tongyi Qianwen
- 破限权重 Abliterated weights: vkshdev/Qwen-3.8-28B-uncensored — ZeroFuse abliteration
- NInfer 引擎 Engine: Neroued/ninfer — original author Neroued
- 量化配方 + Windows 移植 Recipe & Windows port: toddballinger/ninfer-5080 —
groupwise-int-5080recipe + RTX 5070 Ti / 5080 port - DFlash2 草稿模型 Draft model: z-lab/Qwen3.8-27B-DFlash2
感谢以上所有作者！Thanks to all authors above!
能力损失 / Capability Impact
破限（abliteration）不是重新训练，而是从权重中"正交化掉拒绝方向"。实测其对通用能力的影响很小，但在竞赛级难题上略有下降。
Abliteration removes the refusal direction rather than retraining. Its impact on general capability is small, with a slight drop on competition-level problems. The numbers below are from a quick in-house test (not an official benchmark).
经过简单测试（自出 48 道客观题，temperature=0，非官方 benchmark）结果：
| 轮次 Round | 官方 Official | 破限 Uncensored |
|---|---|---|
| 基础 12 题 Basic | 12 | 12 |
| 中等 12 题 Medium | 12 | 12 |
| 竞赛 12 题 Competition | 10 | 9 |
| 高中竞赛 12 题 Olympiad | 9 | 8 |
| 总计 Total (48) | 43 | 41 |
结论 / Conclusion:
- 日常任务（前 24 题：数学、常识、代码、逻辑）零差异 —— 两个模型完全一致。
- 竞赛难题上破限版少 2 分（约 4%），集中在两类题：① 自指逻辑（说谎者悖论「这句话是假的」）② 递推函数计算（f(x+1)=f(x)+2x+1 求 f(3)）。
- Everyday tasks (first 24: math, common sense, code, logic) show zero difference. On competition problems the uncensored build scores 2 fewer points (~4%), concentrated in two areas: (1) self-referential logic (the liar paradox), (2) recursive function evaluation.
性能表现 / Performance
RTX 5070 Ti（本机实测，16GB / 70 SM / 896 GB/s）
| 配置 Config | prefill | decode |
|---|---|---|
| 8192 ctx + MTP-3 + CUDA graph | ~1300 tok/s | ~65 tok/s |
| 8192 ctx + vision + MTP-3 | ~1600 tok/s | ~68–70 tok/s |
| 65536 ctx 纯文本 (text-only) | — | ~41 tok/s |
- 图片识别（
--vision）在 16GB 卡上需把上下文降到 8192（16384 差 85 MB 显存装不下）。 - Vision on 16 GB cards needs
--max-context 8192(16384 is 85 MB over budget).
RTX 5080（预计 / Expected, 16GB / 84 SM / 960 GB/s）
| 指标 Metric | 预计值 Expected |
|---|---|
| prefill | ~1378 tok/s |
| decode | ~71 tok/s |
| MTP 接受率 acceptance | ~44.7% |
- 5080 比 5070 Ti 多 14 SM、带宽高 7%；decode 是带宽受限、prefill 是算力受限，所以分别 +7% / +6%。显存同为 16GB，vision 的上下文档位与 5070 Ti 相当。
- The 5080 has 14 more SMs and 7% more bandwidth than the 5070 Ti. Decode is bandwidth-bound and prefill is compute-bound, giving +7% / +6% respectively. VRAM is the same 16 GB, so the vision context ceiling is comparable.
相关仓库 / Related Repositories
- Windows 构建 + 5070 Ti 移植（本模型的生产仓库）: YukinoKaorisuna/ninfer-5070ti
- 上游 Windows 移植 PR: toddballinger/ninfer-5080#16
文件 / Files
qwen3_8_27b_uncensored.ninfer— 主权重 (15.33 GB) / main weightsqwen3_8_27b_uncensored.ninfer.conversion.json— 转换元数据 / conversion metadata
使用 / Usage
需要 NInfer 引擎（Windows 版见 ninfer-5070ti）。
Requires the NInfer engine (Windows build: see ninfer-5070ti).
ninfer-serve.exe qwen3_8_27b_uncensored.ninfer --host 127.0.0.1 --port 8100 `
--max-context 65536 --kv-dtype q4 --spec mtp --draft-tokens 3 --embedding-host `
--model-id m
图片识别版追加 --vision 并把 --max-context 降到 8192。 / For vision, add --vision and lower --max-context to 8192.
免责声明 / Disclaimer
本模型是社区 abliteration 版本，仅供研究与个人创作用途。请遵守当地法律法规，勿用于生成违法或有害内容。
This is a community abliteration build for research and personal creative use only. Comply with local laws and do not use it to generate illegal or harmful content.