language:

• en
• ko
  license:
• mit
• apache-2.0
• other
  size_categories:
• 100K<n<1M
  task_categories:
• text-generation
  tags:
• dpo
• chatml
• preference
• alignment
• rlhf
• korean
• bilingual
  pretty_name: keural-DPO

keural-DPO

한국어/영어 DPO(Direct Preference Optimization) 학습용 통합 데이터셋.
6개 소스 데이터셋을 ChatML 형식으로 정규화하여 통합한 것으로, 총 443,314 샘플을 포함합니다.

데이터셋 통계

필터 제거: chosen_chatml == rejected_chatml 인 샘플 제외

언어 및 도메인 비율

언어 분포

도메인 분포 (참고)

Preference Signal 유형

단순 "정답 vs 오답" 형태가 아닌 다양한 preference signal이 혼합되어 있습니다.

특징: "완전히 틀린 답 vs 정답" 구도보다 "그럴듯하지만 덜 적절한 답 vs 더 나은 답" 형태의 subtle preference pair 비중이 높아 DPO signal 품질이 양호한 편입니다.

소스 데이터셋

데이터 형식

필드

ChatML 형식

단일턴 (ultrafeedback, multifaceted_dpo, orca_dpo_ko, aihub_71748, aihub_71760):

chosen_chatml:
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
{chosen_response}<|im_end|>

rejected_chatml:
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
{rejected_response}<|im_end|>

멀티턴 (hh_rlhf): chosen/rejected가 각자 독립된 대화 경로. 컨텍스트 오염 없이 분리 저장.

chosen_chatml:                        rejected_chatml:
<|im_start|>user                      <|im_start|>user
{Q1}<|im_end|>                        {Q1}<|im_end|>
<|im_start|>assistant                 <|im_start|>assistant
{A1_chosen}<|im_end|>                 {A1_rejected}<|im_end|>
<|im_start|>user                      <|im_start|>user
{Q2}<|im_end|>                        {Q2}<|im_end|>
<|im_start|>assistant                 <|im_start|>assistant
{A2_chosen}<|im_end|>                 {A2_rejected}<|im_end|>

prompt 필드는 두 경로의 공통 시작점인 첫 번째 user 질문(Q1)만 저장합니다.

학습 시 주의사항

필수 특수 토큰 추가

ChatML 형식 학습을 위해 토크나이저에 아래 특수 토큰이 반드시 추가되어야 합니다:

tokenizer.add_special_tokens({
    "additional_special_tokens": ["<|im_start|>", "<|im_end|>"]
})
model.resize_token_embeddings(len(tokenizer))

데이터 로드 예시

from datasets import load_dataset

# 특정 split 로드
ds = load_dataset("mkd-chanwoo/keural-DPO", split="ultrafeedback")

# 전체 로드 후 합치기
from datasets import concatenate_datasets

splits = ["ultrafeedback", "multifaceted_dpo", "hh_rlhf",
          "orca_dpo_ko", "aihub_71748", "aihub_71760"]
ds = concatenate_datasets([
    load_dataset("mkd-chanwoo/keural-DPO", split=s) for s in splits
])

TRL DPO Trainer 사용 예시

from trl import DPOTrainer, DPOConfig

training_args = DPOConfig(
    beta=0.1,
    ...
)

trainer = DPOTrainer(
    model=model,
    args=training_args,
    train_dataset=ds,
    tokenizer=tokenizer,
    # chosen_chatml / rejected_chatml 컬럼을 직접 사용하는 경우
    # precompute_ref_log_probs=True 옵션 고려
)

라이선스

각 split의 라이선스는 원본 데이터셋을 따릅니다:

AI Hub 데이터(aihub_71748, aihub_71760)는 AI Hub 이용 승인 후 사용 가능합니다.
상업적 이용 전 각 원본 데이터셋의 라이선스를 반드시 확인하세요.