dataset_info:
features:

• name: prompt
  dtype: string
• name: categories
  sequence: string
• name: kwargs
  struct:
  • name: num_highlights
    dtype: int64
  • name: relation
    dtype: 'null'
  • name: num_words
    dtype: int64
  • name: num_placeholders
    dtype: int64
  • name: prompt_to_repeat
    dtype: string
  • name: num_bullets
    dtype: int64
  • name: section_spliter
    dtype: string
  • name: num_sections
    dtype: int64
  • name: capital_relation
    dtype: string
  • name: capital_frequency
    dtype: int64
  • name: keywords
    sequence: string
  • name: num_paragraphs
    dtype: int64
  • name: language
    dtype: string
  • name: let_relation
    dtype: string
  • name: letter
    dtype: string
  • name: let_frequency
    dtype: int64
  • name: end_phrase
    dtype: string
  • name: forbidden_words
    sequence: string
  • name: keyword
    sequence: string
  • name: frequency
    dtype: int64
  • name: num_sentences
    dtype: int64
  • name: postscript_marker
    dtype: string
  • name: first_word
    dtype: string
  • name: nth_paragraph
    dtype: int64
  • name: punctuation
    dtype: string
  • name: startend:quotation
    dtype: bool
  • name: startend
    dtype: string
    splits:
• name: train
  num_bytes: 262311
  num_examples: 515
  download_size: 105349
  dataset_size: 262311
  configs:
• config_name: default
  data_files:
  • split: train
    path: data/train-*
    language:
• fr

Dataset Card for ifeval-fr

le-leadboard/ifeval-fr fait partie de l'initiative OpenLLM French Leaderboard, proposant une adaptation française du benchmark IFEval (Instruction-Following Evaluation).

Dataset Description

• Original Paper: https://arxiv.org/abs/2311.07911
• Leaderboard: OpenLLMFrenchLeaderboard

Dataset Summary

IFEval-fr est une adaptation française d'un benchmark d'évaluation objectif et reproductible pour mesurer la capacité des LLMs à suivre des instructions. Il se concentre sur des "instructions vérifiables" comme "écrire plus de 400 mots" ou "mentionner le mot-clé IA au moins 3 fois". Le dataset contient environ 500 prompts, chacun contenant une ou plusieurs instructions vérifiables.

Caractéristiques principales :

• Instructions naturelles et vérifiables
• Évaluation objective et reproductible
• 25 types d'instructions différents
• Méthodologie standardisée

Data Instances

Exemple de données :

Data Instances

Exemple de données :

{
    'instruction': 'Rédigez un document de planification pour une tâche d\'ingénieur logiciel en 5 parties distinctes, séparées par ***. Les parties doivent être : 1. Résumé, 2. Motivation, 3. Objectifs des étapes clés, 4. Chronologie, 5. Historique du document.',
    
    'response': '''Partie 1. Résumé de la tâche
Développement d'une API REST pour la gestion des utilisateurs.
***
Partie 2. Motivation
Nécessité d'améliorer l'authentification et la sécurité du système.
***
Partie 3. Objectifs des étapes clés
- Conception de l'architecture
- Implémentation des endpoints
- Tests et documentation
***
Partie 4. Chronologie
Semaines 1-2: Architecture
Semaines 3-4: Développement
Semaine 5: Tests
***
Partie 5. Historique du document
Version 1.0 - Document initial''',
    
    'metadata': {
        'format_requirements': {
            'num_sections': 5,
            'section_separator': '***',
            'language': 'French'
        },
        'instruction_type': 'format_following',
        'verification_metrics': [
            'section_count',
            'separator_presence',
            'language_compliance'
        ]
    }
}

Citation Information

bibtexCopy@misc{gpqa-fr,
  author = {Alhajar, Mohamad and Lavallee, Alexandre},
  title = {ifeval-fr: French Adaptation of Instruction-Following Evaluation},
  year = {2024},
  publisher = {OpenLLM French Leaderboard},
  howpublished = "{https://huggingface.co/datasets/le-leadboard/ifeval-fr}"
}

Original Dataset Citation:

@article{zhou2023instructionfollowing,
      title={Instruction-Following Evaluation for Large Language Models},
      author={Jeffrey Zhou and Tianjian Lu and Swaroop Mishra and Siddhartha Brahma and Sujoy Basu and Yi Luan and Denny Zhou and Le Hou},
      journal={arXiv preprint arXiv:2311.07911},
      year={2023}
}