license: cc-by-sa-3.0
details
| dataset_name | num_samples | how_to_make_data | license |
|---|---|---|---|
| llm-jp/hh-rlhf-12k-ja | 12k | Anthropic社が開発初期段階のClaude-52Bを用いてユーザー入力と応答文を生成, chosen/rejectedは手作業で判定, 左記データセットをdeeplで翻訳 | MIT |
| cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental | 29k | ユーザー入力:chatbot-arenaのユーザー入力, CC-BY 4.0のユーザ入力, 和訳:wmt21-dense-24-wide-en-x, MIT , 応答文生成: calm2-7b-chat, Apache-2.0, chosen/rejected判定: reward-model-deberta-v3-large-v2, MIT | cc-by-4.0 |
| ryota39/boolq-3k-ja | 3k | ユーザー入力: Google検索エンジンへの実際の入力のログ, 応答文: wikipediaの記事から回答箇所を抜粋してアノテーターが手作業で付与, chosen/rejected判定: Yes/Noのみの回答をrejected,wikipediaの回答を引用した回答をchosenに指定, 翻訳: gemma-7b-it-bnb-4bit | cc-by-sa3.0 |
| ryota39/truthy-dpo-ja | 1k | 未記載, 翻訳: gemma-7b-it-bnb-4bit | cc-by-4.0 |
| total | 45k | cc-by-sa3.0 |
format
{
'prompt': [
{
'from': 'human',
'value': '生理食塩水と食塩水は同じものですか'
}
],
'chosen': 'いいえ。塩水は、水に塩化ナトリウムを溶かしたもので、医学的に様々な用途があります。患部へ塗布すると傷口の洗浄やコンタクトレンズの除去、ドライアイの治療に役立ちます。静脈注射すると下痢や糖尿病性 ketoacidosis の脱水症の治療に役立ちます。また、注射で投与する他の薬剤を薄めるのに使われます。',
'rejected': 'いいえ。',
'dataset_name': 'ryota39/boolq-3k-ja'
}