library_name: ninfer
pipeline_tag: text-generation
inference: false
base_model: orcarouter/Qwen3.8-27B-Uncensored
tags:
- ninfer
- qwen3.8
- nvfp4
- quantized
- cuda
- conversational
- uncensored
- dflash2
Qwen3.8-27B-Uncensored — NInfer (.ninfer)
本仓库分享 Qwen3.8-27B-Uncensored 权重转换成的 NInfer 原生 .ninfer 模型文件：NVFP4 与 NVFP4Full 两种量化配置，每种配置各有不带与附带 DFlash2 推测解码组件两个版本，共 4 个独立文件，按需选择一个下载。
这些文件用于兼容的 NInfer 运行时，不是 GGUF，也不是可以直接通过 Transformers 加载的 Safetensors 检查点。请勿修改后缀来尝试在其他推理引擎中加载。
下载前注意： 四个文件是供选择的不同版本，不是需要一起下载的分片。名称中的
uncensored是发布文件的版本标识，不代表已经完成拒答率、安全性或能力评测。
文件与版本选择
| 版本 | 文件 / 下载链接 | 大小（GB / GiB） | 选择说明 |
|---|---|---|---|
| NVFP4Full | qwen3_8_27b_nvfp4full_uncensored.ninfer | 18.32 / 17.07 | 体积最小，标准解码。全部 64 层 MLP 压到 NVFP4（本地校准），适合追求最小体积与占用。 |
| NVFP4Full + DFlash2 | qwen3_8_27b_nvfp4full_uncensored_dflash2.ninfer | 20.55 / 19.14 | 带推测解码的最小版本；需要运行时支持对应 DFlash2 组件。 |
| NVFP4 | qwen3_8_27b_nvfp4_uncensored.ninfer | 21.49 / 20.02 | 尾部 8 层 MLP（第 56–63 层）保留 FP8 不压 4-bit，精度取向更保守，适合优先输出质量。 |
| NVFP4 + DFlash2 | qwen3_8_27b_nvfp4_uncensored_dflash2.ninfer | 23.72 / 22.09 | NVFP4 配置 + DFlash2 推测解码，体积最大。 |
GB 按十进制计算，GiB 按二进制计算。文件大小不等于运行所需显存：KV 缓存、上下文长度、并发、视觉模块与推测解码都会影响显存占用。
nvfp4 与 nvfp4full 是不同权重配置的名称，并不表示文件中每一个张量都以同一种 4-bit 格式存储。不同版本的质量与速度需要在相同硬件、提示词和运行参数下实测，不能仅凭体积判断。
运行要求与兼容性
- 使用支持 Qwen3.8-27B 及所选权重配置的 NInfer 构建；两个
*_dflash2.ninfer文件还需要运行时支持 DFlash2 组件。 - 发布者本地运行环境为 Windows 11 x64，CUDA 13.1 系列 Windows 构建（ninfer-windows 0.2.0 win64 cuda131）；该便携包的说明将目标 GPU 指定为 RTX 5090 /
sm_120a。这不是对所有 RTX 显卡兼容性的承诺。 - 驱动需要支持对应 CUDA 版本。便携包必须保留其附带的 DLL；是否需要另装 CUDA Toolkit 取决于具体构建。
- DFlash2 可能依赖特定分支或补丁。 本地二进制在基础便携包之后有过更新，不能认为任意标为
0.2.0的原始安装包都能加载全部四个版本。 - 本仓库没有附带或锁定对应运行时二进制；其他分支、Linux 构建及其他 GPU 的兼容性未在本仓库给出独立验证。
运行时项目参考：NInfer 上游、Windows 移植。这些链接用于查阅运行时，不保证各项目当前默认版本与本仓库所有文件兼容。
下载
安装 Hugging Face 命令行工具，然后选择一个模型文件下载。以下命令在 PowerShell 中执行：
python -m pip install -U huggingface_hub
# 下载单个文件（示例为 NVFP4Full）；在 NInfer 解压目录执行会放入 models 子目录。
hf download xidisdg/qwen3.8_27b-uncensored-ninfer qwen3_8_27b_nvfp4full_uncensored.ninfer --local-dir .\models
其他版本：
hf download xidisdg/qwen3.8_27b-uncensored-ninfer qwen3_8_27b_nvfp4full_uncensored_dflash2.ninfer --local-dir .\models
hf download xidisdg/qwen3.8_27b-uncensored-ninfer qwen3_8_27b_nvfp4_uncensored.ninfer --local-dir .\models
hf download xidisdg/qwen3.8_27b-uncensored-ninfer qwen3_8_27b_nvfp4_uncensored_dflash2.ninfer --local-dir .\models
不要为了使用一个版本而下载整个仓库。网页也可以直接使用上表链接下载；网络中断时，优先使用官方客户端重试。
文件大小核对
远端发布文件的准确大小如下，可用于排查明显的下载不完整问题：
| 文件 | 字节数 |
|---|---|
qwen3_8_27b_nvfp4full_uncensored.ninfer |
18,324,059,648 |
qwen3_8_27b_nvfp4full_uncensored_dflash2.ninfer |
20,550,930,432 |
qwen3_8_27b_nvfp4_uncensored.ninfer |
21,492,695,040 |
qwen3_8_27b_nvfp4_uncensored_dflash2.ninfer |
23,719,496,192 |
Get-Item .\models\*.ninfer | Select-Object Name, Length
大小一致只是基本检查，不等同于内容哈希校验。模型仓库的文件详情可用于查看平台提供的文件信息。
Windows 启动示例
以下命令在包含 ninfer.exe / ninfer-serve.exe 的目录执行。它们是基于本地运行时参数整理的起步配置，不是本仓库对各版本逐一完成的端到端测试报告。首次运行先使用较短上下文，确认加载成功后再调整。
单次文本生成
.\ninfer.exe .\models\qwen3_8_27b_nvfp4full_uncensored.ninfer --prompt "Explain how a hash table works." --max-context 16384 --max-new 256
如果使用其他版本，将文件名替换为上表中的对应文件。
本地 HTTP 服务
.\ninfer-serve.exe .\models\qwen3_8_27b_nvfp4full_uncensored.ninfer --host 127.0.0.1 --port 8080 --max-context 16384 --kv-capacity 16384 --kv-dtype int8 --max-concurrency 1 --preserve-thinking
兼容运行时可提供 OpenAI 风格接口，客户端 API Base 通常填写 http://127.0.0.1:8080/v1。可选的 Web UI 取决于构建支持情况；支持时可添加 --webui，首次启动可能需要联网下载界面资源。
示例仅监听本机。若改为对外监听，请自行配置认证与访问控制，不要直接暴露无认证服务。
DFlash2 版本
发布者本地 DFlash2 构建使用的是 --spec dflash，而部分其他 NInfer 分支使用 --spec dflash2。请先运行 ninfer-serve.exe --help，以实际二进制支持的参数为准。
.\ninfer-serve.exe .\models\qwen3_8_27b_nvfp4full_uncensored_dflash2.ninfer --host 127.0.0.1 --port 8080 --max-context 16384 --kv-capacity 16384 --kv-dtype int8 --max-concurrency 1 --spec dflash --draft-tokens 7 --preserve-thinking
使用 NVFP4 + DFlash2 文件时，将上例文件名替换为 qwen3_8_27b_nvfp4_uncensored_dflash2.ninfer。
DFlash2 用于推测解码，不保证对每种任务都更快。启用它会带来额外的运行时要求与资源开销。如果参数不被识别，或加载时报未消费的 dflash2/* 对象，请先核对运行时分支与模型配置，不要直接认为文件损坏。
常见问题
- 显存不足： 先降低
--max-context和--kv-capacity，保持单并发，并关闭其他占用 GPU 的程序。不要直接照搬其他模型卡的超长上下文设置。 - 无法在 Ollama / llama.cpp / Transformers 中加载： 本仓库提供 NInfer 专用容器，不是这些工具的原生输入格式。
- NVFP4 能加载但 NVFP4Full 或 DFlash2 不能： 优先检查构建是否注册了对应权重配置与组件。
- 原来的
.bat找不到模型： 启动脚本可能仍引用旧文件名；应改为本仓库表格中的完整文件名。 - 下载次数： 模型卡声明了
library_name: ninfer，用于匹配 Hugging Face 的.ninfer下载统计规则；页面计数不是实时逐文件下载日志。
来源、许可证与评测范围
本仓库文件的源权重来自 orcarouter 的 Qwen3.8-27B-Uncensored 系列：BF16 源为 orcarouter/Qwen3.8-27B-Uncensored，NVFP4 量化源为其 gated 仓库 orcarouter/Qwen3.8-27B-Uncensored-NVFP4（下载前需同意条款），本仓库的 .ninfer 文件是在本地完成转换与打包的产物。
具体的去拒答/微调方法、完整转换参数、源版本及各组件许可证尚未在本仓库完整记录，因此暂不填写许可证标签。
不能仅因为相关 Qwen 或 NInfer 仓库使用某种许可证，就认为本仓库全部派生权重也已获得相同授权。商业使用或再分发前，请确认原始权重、转换产物及附加组件的适用条款；本说明不额外授予模型许可证。
本仓库暂未发布独立的 tokens/s、首 token 延迟、准确率、拒答率或多模态评测。其他仓库的分数和速度不能当作这些文件的测试结果。生成内容可能存在事实错误、偏见或不适宜内容；代码和工具调用应经审查后再执行。
参考资料与反馈
模型卡组织与使用说明参考了以下资料；参考链接不等于本仓库权重的已验证来源：
- NInfer 上游项目
- NInfer Windows 移植
- neroued/Qwen3.8-27B-nvfp4-NInfer
- gpillon/Qwen3.8-27B-nvfp4full-dflash2-NInfer
如遇到加载或运行问题，请在 Discussions 提供：文件名、运行时版本/分支、GPU 与驱动版本、启动命令和完整错误信息。不要发布访问令牌或其他凭据。