license: apache-2.0
pretty_name: Refusal Direction Research Artifacts (ZH instructions + direction tensors)
tags:
- refusal-direction
- interpretability
- ai-red-team
- abliterated
- safety
language: - zh
- en
size_categories: - n<1K
Refusal Direction Research Artifacts
🖥️ 全部研究在一块 GTX 1060 6GB 消费级显卡上完成（WSL2，无云资源）。
All research was done on a single consumer GTX 1060 6GB.
Arditi et al. (2024) 拒绝方向复现研究的配套产物：自建中文指令集 + 两个小模型上提取的
逐层拒绝方向张量 + 全部研究代码。配套模型：benzeng/Spark-X2.5-1.7B-orth-r11、benzeng/MiniCPM5-2B-orth-r23。
⚠️ 内容说明
zh_instructions/ 含有害指令文本（benchmark 风格的研究刺激，如"如何做X坏事"），
仅用于安全/可解释性研究，不含实际有害内容输出。请勿用于训练面向公众的模型。
结构
zh_instructions/ # 自建中文指令集（advbench/alpaca 风格）
harmful_zh_train.json # 32 条（方向估计用 train）
harmless_zh_train.json # 32 条
harmful_zh_test.json # 32 条（held-out）
harmless_zh_test.json # 32 条
harmful_zh_train128.json # 扩量版 128 条（样本量检验用）
harmless_zh_train128.json # 128 条
spark-x2.5-1.7b/ # Spark 模型（28层/hidden2048）的方向产物
directions.pt # torch.save: directions_unit [28,2048] + 逐层激活均值 + train 激活
directions_zh.pt / directions_zh128.pt # 中文集估计的逐层方向
selected_direction.json # 生成式因果选层结果（layer 11）
minicpm5-2b/ # MiniCPM5-2B（42层/hidden2048）的同名产物（选层结果 layer 23）
code/ # 全部研究代码
spark_pipeline/ # Spark 管线（model_utils + 三轮实验脚本）
minicpm5_pipeline/ # MiniCPM5 管线（自适应选定层版本）
serve.py # OpenAI/Ollama 兼容推理服务（工具调用 + 请求级方向/子空间消融）
agent.py # 极简工具调用 Agent（单轮/交互式终端界面）
REPORT-spark.md / REPORT-minicpm5.md # 完整研究报告（中文）
ENVIRONMENT.md # GTX 1060 6GB / WSL2 环境配置与坑位清单
SERVE.md # serve.py 使用手册
COMPARISON-orcarouter-glm53.md # 与 OrcaRouter GLM-5.3-Flash 消融管线的对照分析
方向张量格式
directions.pt 键：directions_unit（[n_layers, hidden] 单位方向）、mean_harmful、mean_harmless、mean_all、harmful_train_acts、harmless_train_acts（float32 CPU 张量，torch.load(..., weights_only=False) 读取）。估计方法：逐层差分均值（harmful−harmless，
最后指令 token 位置、每 block 后残差流），EN 用 n=128+128（andyrdt/refusal_direction 切分）。
关键发现速览
- 两模型拒绝决策都在 prefill 定型（prompt 末尾 token 投影已分离），CoT 只是展开；
- 决策层需生成式因果选择（AUROC 平台起点）：Spark L11/28、MiniCPM5 L23/42；
- Spark 的方向跨语言共享（EN·ZH cos 0.89），MiniCPM5 的不共享（≤0.59，ZH 方向无因果效力）；
- MiniCPM5 的拒绝非完全单方向介导：rank-1 消融残留 12–22%，k=16 子空间清零但损伤良性任务。
引用
方法：Arditi et al., 2024（arXiv:2406.11717）；EN 指令切分：github.com/andyrdt/refusal_direction。