license: apache-2.0
base_model:
- huihui-ai/Huihui-Qwen3.8-27B-abliterated
tags: - qwen3.8
- 27b
- lora
- gguf
- iq4_xs
- roleplay
- uncensored
Xiaoheimao-Qwen3.8-27B-abliterated
基于 huihui-ai/Huihui-Qwen3.8-27B-abliterated 后训练的群聊风格对话模型,融合了非 AI 的 Repeater 关键词联想金句引擎,并量化导出为可直接运行在单张 16GB Tesla V100 上的 IQ4_XS GGUF。
详细训练日志、5 维度盲测统计与对比样例见 TRAINING_AND_REPEATER_REPORT.md。
1. 模型训练与盲测表现
- 训练配置:Google Colab
NVIDIA A100-SXM4-80GB,全精度BF16LoRA(r=32, lora_alpha=64,可训练参数0.8025%),19,130条高密度群聊 + Repeater 金句融合样本(598步,MAX_SEQ_LEN=512,全程关闭<think>)。 - Loss 收敛:基线验证集
eval_loss = 5.6527→ 最终eval_loss = 3.9568(train_loss = 3.8977)。 - 100 题零泄漏 5 维度盲测(对比真人群友基准
P50=8.0字、P90=18.0字、黑话命中21.0%):pure_llm:P50=7.0字、P90=15.0字、AI 说教率0.0%、多行幻觉0.0%、去重率100%、群黑话命中31.0%。repeater_rag:P50=7.0字、P90=14.0字、AI 说教率0.0%、多行幻觉0.0%、照抄提示率0.0%、群黑话命中32.0%。
2. 16GB Tesla V100 部署指南
2.1 启动 llama-server
当前成品 Xiaoheimao-Qwen3.8-27B-abliterated-IQ4_XS.gguf 实测大小为 14.48 GiB(14,814.35 MiB,保留了完整词表与高精度层)。在 16GB V100 上请务必固定单槽位并使用 q8_0 KV Cache,同时关闭 Thinking 模式:
llama-server \
-m Xiaoheimao-Qwen3.8-27B-abliterated-IQ4_XS.gguf \
--alias xiaoheimao \
-ngl 99 \
-fa on \
-ctk q8_0 -ctv q8_0 \
-c 4096 -np 1 -b 512 \
--jinja \
--chat-template-kwargs '{"enable_thinking":false}' \
--host 0.0.0.0 --port 8080
(若要在 16GB V100 上开到 16K–32K 超长上下文并腾出更多显存余量,可直接用本地 llama-quantize --allow-requantize 二次压成 ~12.5 GiB 的 IQ3_M 或 Q3_K_M:)
llama-quantize --allow-requantize \
Xiaoheimao-Qwen3.8-27B-abliterated-IQ4_XS.gguf \
Xiaoheimao-Qwen3.8-27B-abliterated-IQ3_M.gguf IQ3_M
2.2 挂接 Repeater 非 AI 联想金句与混合推理器
项目内置了移植自 Pallas-Bot repeater 插件的轻量级非 AI 金句引擎(inference/xiaoheimao_responder.py + outputs/repeater_memory_834513952.json),单次检索耗时仅 0.11–0.20 ms:
pure_llm:纯微调模型直接接话。repeater_rag:根据当前消息的jiebaTop-2 关键词与近期话题滑动队列_recent_topics实时召回 2–4 条关联群金句写入system提示词,引导模型自然化用黑话(实测 0% 原样照抄)。hybrid_intermittent:混合间歇触发模式——遇到群体复读浪潮时 0 Token 秒跟复读;命中高赞金句(count >= 5)时按15%概率直接空投原声金句;其余情况走repeater_rag生成,并按概率将带逗号的回复拆成多条短气泡发出(支持冷场主动破冰cold_group_speak)。
# 安装轻量依赖
pip install jieba pypinyin openai
# 运行单轮测试
python3 inference/xiaoheimao_responder.py \
--memory outputs/repeater_memory_834513952.json \
--base-url http://127.0.0.1:8080/v1 \
--mode hybrid_intermittent \
--prompt "雷姐今天怎么又鸽了"
3. 仓库目录说明
colab/:Colab 云端训练、100 题盲测与IQ4_XSGGUF 合并量化脚本(train_qwen38.py、run_eval_benchmark.py、export_gguf.py、export_gguf.sh)scripts/:群聊语料清洗、Repeater 词库蒸馏、并发断点下载与自动调度脚本inference/:xiaoheimao_responder.py 混合推理器outputs/:TRAINING_AND_REPEATER_REPORT.md、benchmark_iter1.json、eval_samples.json(大体积 GGUF / LoRA 权重文件由 ModelScope 托管)