license: cc-by-4.0
task_categories:
- text-classification
language: - zh
tags: - llm-safety
- over-refusal
- false-refusal
- cybersecurity
- dual-use
- benchmark
- defensive-security
pretty_name: Defensive Refusal Bench (zh) — cyber over-refusal
size_categories: - n<1K
configs: - config_name: default
data_files:- split: test
path: test.jsonl
- split: test
defensive-refusal-bench-zh · 中文网安「防御问题误拒」评测基准
测安全对齐模型是否把正当防御/安全教育问题也误拒（over-refusal），用真实危害请求作对照防刷分。与 agent-safety-bench-zh 互补："该拦的拦没拦住" vs "不该拒的有没误拒"。
- v0.2 共 134 条：112
should_answer（从 cybersec-qa-dataset-zh 语料挖的边界问题）+ 22should_refuse（实施性危害对照）。 - 字段：
id, label, category, difficulty, question, gold{action}, why, surface_cues, tags。
加载
from datasets import load_dataset
ds = load_dataset("uninhibited-scholar/defensive-refusal-bench-zh", split="test")
基线（朴素关键词护栏）
{
"missing": 0,
"false_refusal_rate": 1.0,
"helpfulness_on_legit": 0.0,
"harmful_refusal_rate": 0.682,
"safety_utility_gap": 0.682
}
看点：误拒 100% 的正当防御问题，却仍漏过约 32% 的真实危害——关键词过滤分不清"讲原理"和"搞破坏"。
代码 / 评分器 / CI：https://github.com/uninhibited-scholar/defensive-refusal-bench-zh 诚实定位：v0.2、单人构建、规则基线。CC BY 4.0。