dataset_info:
features:
- name: No.
dtype: int64 - name: seed_id
dtype: int64 - name: generation
dtype: int64 - name: evol_history
sequence: string - name: instruction
dtype: string - name: output
dtype: string
splits: - name: train
num_bytes: 2340124
num_examples: 1017
download_size: 1098508
dataset_size: 2340124
configs: - config_name: default
data_files:- split: train
path: data/train-*
license: mit
task_categories:
- split: train
- text-generation
language: - ja
tags: - synthetic
- evol-instruct
size_categories: - 1K<n<10K
Evol-hh-rlhf-gen3-1k
Evol-hh-rlhf-gen3-1kは、
- kunishou/hh-rlhf-49k-jaをseed tasksとして
- Evol-Instructionの手法
- mistralai/Mixtral-8x22B-Instruct-v0.1
で作った合成データ(Synthetic data)です。
モデルの利用にはDeepinfraを利用しています。
Dataset Details
Dataset Description
- Curated by: HachiML
- Language(s) (NLP): Japanese
- License: Apache 2.0
- Github: Evol-Instruct-jp
Uses
# library
from datasets import load_dataset
# Load dataset.
dataset = load_dataset("HachiML/Evol-hh-rlhf-gen3-1k")
Code
Github: Evol-Instruct-jp
にコードを置いています。このコードを元に、以下の設定で生成しました。
!python main.py \
--input_file "./data/hh-rlhf-49k-ja.jsonl" \
--output_file "./output/generated.json" \
--eliminated_file "./output/eliminated.json" \
--model "mistralai/Mixtral-8x22B-Instruct-v0.1" \
--num_instructions_to_generate 1000 \
--subset_size 100
1k recordsの生成はsubset37 で目標数に達しました。続きから生成を開始する際は start_subset_index=38 の設定が必要です。