dataset_info:
features:

• name: prompt
  dtype: string
• name: prompt_id
  dtype: string
• name: chosen
  list:
  • name: content
    dtype: string
  • name: role
    dtype: string
• name: rejected
  list:
  • name: content
    dtype: string
  • name: role
    dtype: string
    splits:
• name: train_prefs
  num_bytes: 38405140.71630563
  num_examples: 9929
• name: test_prefs
  num_bytes: 4270246.283694372
  num_examples: 1104
  download_size: 24140645
  dataset_size: 42675387
  configs:
• config_name: default
  data_files:
  • split: train_prefs
    path: data/train_prefs-*
  • split: test_prefs
    path: data/test_prefs-*
    task_categories:
• text-generation
  language:
• nl
  pretty_name: Orca DPO Pairs Dutch
  size_categories:
• 1K<n<10K
  license: apache-2.0
  tags:
• conversational
• dpo

Dataset Card for Orca DPO Pairs Dutch

[!TIP]
I recommend using the cleaned, deduplicated version. https://huggingface.co/datasets/BramVanroy/orca_dpo_pairs_dutch_cleaned

Citation

If you use this dataset, GEITje 7B Ultra (SFT) or any of its derivatives or quantizations, place cite the following paper:

@misc{vanroy2024geitje7bultraconversational,
      title={GEITje 7B Ultra: A Conversational Model for Dutch}, 
      author={Bram Vanroy},
      year={2024},
      eprint={2412.04092},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.04092}, 
}

Dataset Description

This is a Dutch recreation of Intel/orca_dpo_pairs. It contains single-turn responses to a prompt and sometimes a system prompt by two different systems, intended for the preference optimalisation of language models (such as DPO). The chosen answers is always gpt-4-1106-preview, the rejected answer is always Rijgersberg/GEITje-7B-chat.

Note that it is a naive assumption that GPT 4 is always better than another language model. For a better balance, some kind of scoring of the answers should be done, with, for instance, Argilla's distilabel but I do not have the funds to run this rating with a state-of-the-art model (like GPT4). If you do, please improve dataset and share the result!

Dataset Structure

The dataset has two splits. The number of examples per split is shown as follows:

That means that around 11.12% of the data is reserved for testing. One may find that this dataset is smaller than the original dataset. This is caused by the OpenAI automatic filtering. More information in the sections below.

Data Instances

The dataset does not have system messages.

{
    'prompt': 'Premisse: Een artikel weerlegt de gangbare wijsheid dat Klaus Fuchs en David Greenglass de eerste atoomgeheimen aan de Sovjets hebben gelekt.\n\nHypothese: Greenglass en Fuchs waren niet verantwoordelijk voor het uitlekken van geheimen aan de Sovjets.\n\nVolgt de premisse uit de hypothese?\n\nKies uit: (A). ja (B). het is niet mogelijk om dit te zeggen (C). nee',
    'prompt_id': 'b56f1662fedf7f43d1c3828e736e56146c21febf2711ae22910e7ee7280aed5e',
    'chosen': [
        {'content': 'Je bent een behulpzame assistent, die altijd uitleg geeft. Denk alsof je antwoord geeft aan een kind van vijf jaar oud.', 'role': 'system'},
        {'content': 'Premisse: Een artikel weerlegt de gangbare wijsheid dat Klaus Fuchs en David Greenglass de eerste atoomgeheimen aan de Sovjets hebben gelekt.\n\nHypothese: Greenglass en Fuchs waren niet verantwoordelijk voor het uitlekken van geheimen aan de Sovjets.\n\nVolgt de premisse uit de hypothese?\n\nKies uit: (A). ja (B). het is niet mogelijk om dit te zeggen (C). nee', 'role': 'user'},
        {'content': 'Stel je voor je hebt een doos met kleurpotloden en iedereen zegt dat je beste vriendje de blauwe en groene potloden heeft gepakt en buiten de lijntjes heeft gekleurd. Maar dan komt er iemand anders en laat zien dat niet jouw vriendje, maar iemand anders het heeft gedaan.\n\nDe premisse is eigenlijk dat nieuwe verhaal, waar iemand zegt: "Het was niet jouw vriendje die de kleuren heeft gebruikt om buiten de lijntjes te kleuren." De hypothese is wat we nog aan het uitzoeken zijn, of het echt waar is dat jouw vriendje dat niet heeft gedaan.\n\nDus, als de nieuwe informatie klopt (de premisse), dan zou dat inderdaad betekenen dat jouw vriendje (Greenglass en Fuchs) niet degene was die de potloden (geheimen) buiten de lijntjes (aan de Sovjets) heeft gekleurd. Maar we moeten nog steeds kijken naar de nieuwe informatie om zeker te zijn. \n\nDus het antwoord op de vraag of de premisse uit de hypothese volgt, is (B) het is niet mogelijk om dit te zeggen zonder meer informatie. We moeten bewijs zien dat echt laat zien dat jouw vriendje niet de geheimen heeft doorverteld. Pas dan kunnen we zeggen dat de premisse uit de hypothese volgt.', 'role': 'assistant'}
    ],
    'rejected': [
        {'content': 'Je bent een behulpzame assistent, die altijd uitleg geeft. Denk alsof je antwoord geeft aan een kind van vijf jaar oud.', 'role': 'system'},
        {'content': 'Premisse: Een artikel weerlegt de gangbare wijsheid dat Klaus Fuchs en David Greenglass de eerste atoomgeheimen aan de Sovjets hebben gelekt.\n\nHypothese: Greenglass en Fuchs waren niet verantwoordelijk voor het uitlekken van geheimen aan de Sovjets.\n\nVolgt de premisse uit de hypothese?\n\nKies uit: (A). ja (B). het is niet mogelijk om dit te zeggen (C). nee', 'role': 'user'},
        {'content': 'Toen wij geboren werden, wisten we heel wat we wilden doen en nog veel meer wat we niet wilden doen. Dat idee is een premisse genoemd. Ons doel is om je te vertellen dat, toen men de regels uitlegde over wie de eerste atoomgeheimen heeft doorgespeeld aan de Sovjets, we niet zeker weten of de bewering juist is. Stel je voor dat je naar een vriend gaat die een spelletje speelt, maar in plaats van zelf deel te nemen, moet je gewoon langskomen en hun idee of veronderstelling bevestigen of ontkennen. Dit spel waar wij het over hebben wordt geschiedenis genoemd.', 'role': 'assistant'}
    ]
}

Data Fields

• prompt: the initial user prompt
• prompt_id: the unique hash of the prompt
• chosen: (gpt-4-1106-preview) list of messages (dictionaries) where each dictionary has a role (user, assistant, system) and content
• rejected: (GEITje-7B-Chat) list of messages (dictionaries) where each dictionary has a role (user, assistant, system) and content

Dataset Creation

This dataset was created with this repository. The translate-hf script for translating the system and instruction columns, and answer-hf to create answers for the translated query.

So in a first step, the English first user message was translated alongside the system message with gpt-4-1106-preview to Dutch. This prompt is then fed to gpt-4-1106-preview and GEITje-7B-chat to generate responses, so only the user prompt is translated. The data is therefore single-turn.

Data filtering

On top of the automatic content filtering and parsing issues, additional filtering was also done. All the data is preserved in separate branches if you would like a historical view of the process of how the data was created.

• 1-translated-sys-and-q: the initial translations of the first user message/prompt and the system prompt
• 2-gpt-4-turbo-answers: adds the answers by GPT4
• 3-geitje-7b-chat-answers: adds the answers by GEITje-7B-chat
• 4-llama-2-13b-chat-dutch-answers: adds the answers by Llama 2 13B Chat Dutch - but because of the poor quality this data is not used in the final dataset
• 5-merged: merges the instructions and the answers of the previous branches
• 6-gpt4-geitje: removes Llama 2 output
• 7-lid: added language identification to the columns with fastText, which is based on the concatenation of all content keys in the chosen and rejected column.
• 8-filtered: removed samples where the detected text was not Dutch. (Note that this may remove translation-focused samples!). Other filters
  • samples with non-Latin characters are removed (very strict filtering, removes any translation tasks with non-Latin languages)
  • samples with occurrences of "AI-assistent" or "AI-taalmodel" (and other derivations) are removed because these are often responses in the sense of "As an AI model, I cannot ...", which is not too useful
  • samples with mentions of ChatGPT, GPT 3/4, OpenAI or ShareGPT are removed
  • samples with mentions of the typical "knowledge cutoff" are removed
  • samples with apologies such as "spijt me" are removed, as we are more interested in factual information and content-filled responses
• main: the main, default branch. Removes all "irrelevant" columns (like English messages, language identification)

Source Data

Initial Data Collection and Normalization

Initial data preparation by Intel, which in turn started from OpenOrca.

Considerations for Using the Data

Note that except for a manual analysis of around 100 random samples, this dataset has not been verified or checked for issues. However, the OpenAI filters blocked requests for translation and generation, which may indicate that some of the original prompts may contained ambiguous or potentially inappropriate content that has now been filtered.

During checking, I found that the translations of the prompt sometimes have issues, where parts of the content was not translated. This can happen when the model interprets the input as a command, for instance, instead of translating it. This is especially true for the system messages.

Discussion of Biases

As with any machine-generated texts, users should be aware of potential biases that are included in this dataset. It is likely that biases remain in the dataset so use with caution.

Licensing Information

Since the data was created with the Azure API, and I cannot find any restrictions on how the data can be used, you can use this data however you see fit according to an apache 2.0 license.

Contributions

Thanks to Michiel Buisman of UWV for reaching out and making the creation of this dataset possible with access to Azure's API.