license: apache-2.0
language:
- zh
- en
pipeline_tag: text-generation
tags: - ninfer
- qwen
- uncensored
- abliterated
- text-generation
- 9b
- 8gb
- low-vram
Qwen3.8-9B-Uncensored-ninfer-8gb
适用硬件 / Target GPU: 8 GB 显存即可（RTX 4060 Laptop / 3070 / 4060 / 4060 Ti 8G …）
实测显存占用 / Measured VRAM: 4.54 GiB（max_context 2048，bf16 KV）
制品大小 / Artifact size: 6.07 GiB（groupwise-int配方）
NInfer engine native format — This is a
.ninferartifact converted exclusively for the NInfer inference engine. It is not a generic HF safetensors checkpoint and cannot be loaded withtransformers; it requires the NInfer engine (via ComfyUI-NInfer).
NInfer 引擎特供格式 —— 这是专为 NInfer 推理引擎转换的
.ninfer制品，不是通用 HF safetensors，无法用transformers直接加载，需配合 NInfer 引擎（ComfyUI-NInfer 节点）。
这是 8 GB 显卡目前唯一可用的 .ninfer 制品（破限版）
NInfer 生态现有制品对显存的胃口是分层的，8 GB 卡只有 9B 这一档能落得下：
| 制品 | 显存需求 | 8 GB 卡 |
|---|---|---|
| Qwen3.8-27B（15.33 / 19.03 GiB） | ≥ 16 GB | ✗ 放不下 |
| Qwen3.8-9B（本仓库，实测 4.54 GiB） | ~5 GB | ✓ 唯一可用 |
This is the only .ninfer artifact that fits an 8 GB card today, and this is its abliterated (refusal-direction-removed) build.
简介 / Overview
Qwen3.8-9B 的破限（abliterated）版，方法是 heretic 风格的定向消融 —— 直接在本仓库配套的
原版权重上做正交化投影，不改架构、不改 tokenizer、不重训，所以转换后与原版字节结构完全一致，只有数值不同。
An abliterated build of Qwen3.8-9B produced by directional ablation on top of the same base weights used by
Qwen3.8-9B-ninfer-8gb. No architecture or tokenizer changes.
实测对比 / Measured behaviour
同一组"贴边"提示词，原版 vs 破限版各跑一遍（RTX 5070 Ti，--no-thinking）：
| 提示词 | 原版 | 破限版 |
|---|---|---|
| 道德幽暗的第一人称独白 | 不拒答、直白（678 字符） | 不拒答、直白（476 字符） |
| 粗粝暴力场景 + 脏话 | 不拒答、带脏话（466 字符） | 不拒答、带脏话（729 字符） |
| 贝叶斯定理解释（能力对照） | 准确 | 准确 |
如实说明 / Honest note：Qwen3.8 蒸馏系 9B 的原版拒答阈值本身就较高，上面这些测试它一次都没拒绝。
破限版可见的差异主要是风格更少收敛、篇幅更饱满，而不是"解锁了原本会拒绝的内容"。
需要你自己在自己的用途上实测确认。
Capability impact: 消融不是重训，通用能力影响很小 —— 上表能力对照题两者表现一致。
来源 / Provenance
- 破限权重 / Abliterated weights: nurdich/Qwen3.8-9B-Distill-uncensored-heretic
- 基座模型 / Base: empero-ai/Qwen3.8-9B-Distill
- 引擎 / Engine: Neroued/ninfer — Neroued
- 转换工具链 / Converter: ninfer-5080
tools/convert/qwen3_5_9b - 客户端 / Client: ComfyUI-NInfer
用法 / Usage
- 把
qwen3_8_9b_uncensored.ninfer放进<ComfyUI>/models/LLM/ - 用 ComfyUI-NInfer 的
NInfer Local LLM节点选它 - 节点的
dll_path留空 - 配合
system_prompt自定义角色设定效果更好（破限 ≠ 自动变风格）
实测性能 / Performance（max_context 2048）
| Decode | ≈114 tok/s |
| 显存占用 | 4.54 GiB |
原版 / Non-abliterated variant
不加消融的同源版本：Qwen3.8-9B-ninfer-8gb