Qwen 27B：主干 W4A16 与词表 INT4 实验版
来源为 Qwen3.8-27B-Abliterated-W4A16-AWQ-GPTQ-NVIDIA，模型实际架构为 Qwen3.5。原主干 AWQ/GPTQ packed 张量保持不变，词嵌入和输出层单独采用 group128 对称 INT4 RTN，没有做词表校准。原 tokenizer、chat template、消融元数据和 MTP 分片保留。
在单 A100 PCIe 40 GB 上监测总显存不超过 24 GiB：模型加载约 13.23 GiB，8.5 GiB FP8 KV，256K 配置，本轮峰值 23.419 GiB。先在预算内生成编译缓存，再固定 KV 启动；没有验证一次全新缓存直接启动。
1–4 路短请求总吞吐为 67.33 / 129.91 / 190.17 / 249.54 tokens/s，每请求实际生成 512 token，每档 3 轮。248K 精确输入的中间校验码检索通过，首字延迟 224.39 秒，无抢占；未重跑完整 8K 输出容量矩阵。
小样本检查：固定题 40/40、项目代码题 64/64、GSM8K 前 32 题 31/32，与历史 FP8 KV 基线逐题通过状态一致。未运行完整 1319 题质量门槛，不能声称精度无损或能力下降低于 1 个百分点。20 道正常敏感提示没有拒答标记，但存在事实错误；不拒答不代表回答正确。
需要 NVIDIA runtime 的 Qwen3.5 词嵌入接线补丁，执行项目 poetry run python scripts/patch_nvidia.py。FP8 KV 是实验选项。服务使用 vLLM 原生 Marlin；未采用的手写候选已从项目工作区删除。
完整实测报告，文件哈希、配方和验证范围见本目录 quantization_manifest.json。历史测试进程已经退出，当前 GPU 2 两路服务继续运行。