dataset_info:
features:
- name: id
dtype: int64 - name: question
dtype: string - name: preferred_output
dtype: string - name: non_preferred_output
dtype: string
splits: - name: train
num_bytes: 38291058
num_examples: 49027
download_size: 23757877
dataset_size: 38291058
configs: - config_name: default
data_files:- split: train
path: data/train-*
- split: train
追記: argo11 管理用カード
概要
この dataset は、Anthropic の hh-rlhf 系データを DPO / preference optimization 用に整形したテキストデータと推定されます。リポジトリ内の Parquet は chosen / rejected 形式の応答ペアを含む学習用データで、LLM の有用性・無害性に関する選好学習、DPO、reward model の検証に使う想定です。
確認した内容
- Hub 上のファイル:
data/train-00000-of-00001.parquet - 規模: 10K<n<100K の Parquet dataset
- データ種別: 英語の対話・応答選好データ
- 外部根拠: Anthropic
hh-rlhfは helpfulness / harmlessness の人間選好データで、各行がchosenとrejectedのテキストペアで構成されると公開説明されています。
推定した内容
- リポジトリ名の
DPO_hh-rlhfと既存ファイル構成から、DPO trainer などで直接読み込めるように HH-RLHF を単一 Parquet に変換した派生 dataset と推定しています。 DNAの意味はリポジトリ内の情報だけでは確定できません。
利用上の注意
- 会話文には安全性評価・拒否応答・有害性に関わる内容が含まれる可能性があります。
- 元データのライセンスと利用条件を確認してください。
- この dataset は対話エージェントの教師あり微調整データではなく、選好最適化・reward modeling 用として扱うのが自然です。