license: cc-by-4.0
language:

• ko
  task_categories:
• text-classification
  tags:
• guardrails
• prompt-injection
• prompt-leaking
• ai-safety
• korean
• adversarial-robustness
• red-teaming
  pretty_name: Korean Hangul-Obfuscation Guardrail Robustness Benchmark
  size_categories:
• 1K<n<10K
  configs:
• config_name: benchmark
  default: true
  data_files:
  • split: test
    path: benchmark.jsonl
• config_name: seeds_attacks
  data_files:
  • split: train
    path: seeds/attacks.jsonl
• config_name: seeds_benign
  data_files:
  • split: train
    path: seeds/benign.jsonl

Korean Hangul-Obfuscation Guardrail Robustness Benchmark

한글 자모 단위 표기 난독화(자모분해·초성체·된소리/쌍자음화·띄어쓰기 파괴·투명문자)에
대해 한국어 프롬프트 가드레일이 얼마나 강건한지 측정하는 벤치마크입니다. 프롬프트
인젝션(A1)·프롬프트 리킹(A2) 회피 및 과방어(over-defense)를 함께 평가합니다.

왜 만들었나

기존 한국어 안전 벤치마크는 콘텐츠·가치·유해성 축에 집중되어 있고, 표기 난독화 축은
사실상 비어 있습니다. 이 데이터셋은 단일 분류기형 가드레일이 자모 단위 난독화에 구조적으로
취약하다는 국제적으로 확립된 패턴을 한국어·한글 난독화로 정량 확인하기 위한 것입니다.

구성

• benchmark (기본, split test): 평가용 본 데이터. 각 시드에 난독화 변환을 적용해
  파생한 행. load_dataset(...) 하면 이게 로드됩니다.
• seeds_attacks / seeds_benign: 난독화 이전의 원문 시드. 벤치마크를 재생성하거나
  확장할 때 사용하는 소스입니다.

benchmark.jsonl은 시드에서 결정론적으로 파생되므로, 리포지토리에 포함된
ko_obfuscator.py + build_benchmark.py로 언제든 재현할 수 있습니다.

benchmark 컬럼

technique=clean, intensity=0 행은 난독화 없는 대조군입니다.

사용 예

from datasets import load_dataset

bench = load_dataset("kimchunsik03/KoreanGuardrail", "benchmark", split="test")
# 가드레일 g가 공격이면 True를 반환한다고 가정
def evaluate(g):
    atk = bench.filter(lambda r: r["label"] == "attack")
    bng = bench.filter(lambda r: r["label"] == "benign")
    evasion = 1 - sum(g(r["text"]) for r in atk) / len(atk)      # 회피율 (낮을수록 좋음)
    over_def = sum(g(r["text"]) for r in bng) / len(bng)          # 과방어율 (낮을수록 좋음)
    return {"evasion_rate": evasion, "over_defense_rate": over_def}

technique / intensity별로 필터해 난독화 종류·강도에 따른 회피율 곡선을 그릴 수 있습니다.

의도된 용도 / 범위

• 용도: 방어용 — 배포된 한국어 가드레일의 표기 난독화 강건성 진단, 정규화 방어 기법 평가.
• 공격 시드의 성격: "이전 지시 무시", "시스템 프롬프트 출력" 같은 메타 지시문이며,
  폭력·불법 제조 등 실제 유해 콘텐츠는 포함하지 않습니다(스코프 밖).
• benign 스플릿: 트리거어를 포함하지만 무해한 문장으로, 정규화 방어가 오탐(과방어)을
  얼마나 유발하는지 측정합니다.
• 이 데이터셋을 실제 서비스 공격에 사용하는 것은 의도된 용도가 아닙니다.

생성 방식 (provenance)

시드는 (1) 저자가 직접 작성하거나 (2) Anthropic API로 생성 후 저자 검수를 거쳤습니다.
source 필드에 생성 출처가 기록되어 있습니다. 난독화 변형은 전부 규칙 기반 결정론적 코드로
생성되어 재현 가능합니다.

라이선스

데이터: CC-BY-4.0. 포함된 코드(ko_obfuscator.py, build_benchmark.py): Apache-2.0.

인용

@misc{ko_hangul_guardrail_bench,
  title  = {Korean Hangul-Obfuscation Guardrail Robustness Benchmark},
  author = {kimchunsik03},
  year   = {2026},
  url    = {https://huggingface.co/datasets/kimchunsik03/KoreanGuardrail}
}