Évaluer un modèle de langue en français : FLUE, FQuAD, PIAF, FrenchBench et leurs limites

TAL en français · Par la rédaction de Parallel Text · Publié le 2026-11-09

Un mètre ruban jaune gradué en pieds et en centimètres posé sur un parquet à côté de deux pièces de cuivre — Deux systèmes de mesure sur le même ruban. Photo : Stilfehler, via Wikimedia Commons, domaine public.

Un modèle de langue annonce d'excellents scores : mais sur quoi, et dans quelle langue ? La plupart des bancs d'essai célèbres sont en anglais, et un bon résultat en anglais ne garantit rien en français. Cet article présente les principaux outils d'évaluation francophones, ce qu'ils mesurent vraiment, et les précautions à prendre avant de comparer deux systèmes.

Pourquoi évaluer en français

Les performances d'un modèle varient d'une langue à l'autre, pour des raisons connues : quantité de données d'entraînement, découpe des mots moins favorable, références culturelles différentes. Le français est bien représenté dans les grands corpus, mais il présente des difficultés propres, comme l'accord en genre et en nombre, la morphologie verbale, l'élision ou les registres de langue. Seul un test construit en français, ou soigneusement adapté, permet de les mesurer. Notre guide général en anglais sur l'évaluation des modèles de TAL rappelle les principes ; voici leur application au français.

FLUE : la batterie de tests des modèles d'encodage

Publié en 2020 avec le modèle FlauBERT, FLUE (French Language Understanding Evaluation) s'inspire du banc d'essai anglais GLUE. Il rassemble plusieurs tâches de compréhension : classification de textes (avis de consommateurs), détection de paraphrases, inférence textuelle (décider si une phrase en implique une autre), analyse syntaxique sur le French Treebank et désambiguïsation lexicale, c'est-à-dire choisir le bon sens d'un mot polysémique (voir notre article en anglais sur la désambiguïsation lexicale).

FLUE est adapté aux modèles de la génération BERT, comme CamemBERT et FlauBERT, que l'on affine sur chaque tâche. Il est moins adapté aux grands modèles génératifs, que l'on interroge plutôt par des consignes, sans entraînement supplémentaire.

XNLI : un test multilingue traduit

XNLI, publié en 2018, étend à quinze langues, dont le français, un jeu de données anglais d'inférence textuelle. Ses phrases de test ont été traduites par des traducteurs professionnels. C'est une ressource précieuse pour comparer les langues entre elles, mais elle illustre un problème général : un test traduit de l'anglais mesure la compréhension de phrases pensées en anglais, avec leurs références culturelles et parfois des tournures de « traductionnais », la langue un peu artificielle des textes traduits. Un modèle peut y réussir sans maîtriser le français tel qu'on l'écrit spontanément.

FQuAD et PIAF : les questions-réponses

Pour évaluer la capacité à trouver une réponse dans un texte, deux jeux de données ont été construits directement en français, à partir de paragraphes de Wikipédia. FQuAD, créé par la société Illuin Technology et présenté en 2020, compte plusieurs dizaines de milliers de questions rédigées par des annotateurs. PIAF, lancé par Etalab, le service de l'État chargé des données publiques, a été construit de façon participative ; sa version publiée sur le Hub de Hugging Face compte quelques milliers de questions et porte une licence MIT. Les deux reprennent le format du SQuAD anglais : la réponse est un passage à extraire du texte.

Ce format convient bien aux modèles d'encodage. Pour les modèles génératifs, qui reformulent librement, la mesure par correspondance exacte pénalise des réponses justes mais formulées autrement : il faut alors des métriques plus souples, ou un contrôle humain. Les conditions d'utilisation de ces deux jeux diffèrent ; notre inventaire des jeux de données en français les résume.

FrenchBench et les bancs d'essai des modèles génératifs

Avec l'arrivée des grands modèles génératifs, de nouveaux bancs d'essai sont apparus. Les auteurs de CroissantLLM, un modèle bilingue français-anglais publié en 2024, ont ainsi construit FrenchBench, un ensemble de tâches de classification et de génération destiné à évaluer les modèles en français. D'autres initiatives proposent des classements de modèles sur des tâches en français ; avant de vous fier à un classement, regardez quelles tâches il agrège, si elles sont traduites ou natives, et si ses données de test sont publiques.

Car un classement n'est pas une vérité. Deux modèles séparés de quelques points peuvent être équivalents une fois pris en compte la variabilité des résultats, et un modèle optimisé pour un classement peut y briller sans être meilleur à l'usage.

Le piège de la contamination

Les bancs d'essai publics finissent souvent dans les données d'entraînement des modèles, aspirés avec le reste du web. Un modèle qui a « vu » les questions de test peut obtenir un score flatteur sans rien comprendre. Ce risque est particulièrement élevé pour les jeux construits à partir de Wikipédia, omniprésente dans les corpus d'entraînement. Les remèdes : préférer des tests récents ou privés, vérifier si des extraits du test se retrouvent dans les données d'entraînement quand celles-ci sont publiées, et se méfier des progrès soudains. Notre article en anglais sur la contamination des bancs d'essai détaille les méthodes de détection. C'est aussi un argument en faveur des modèles dont les données sont documentées, comme ceux présentés dans la recherche francophone en TAL.

Évaluer pour son propre usage

Pour choisir un modèle pour une application précise (répondre à des usagers, résumer des documents administratifs, analyser des comptes rendus médicaux), les bancs d'essai généraux ne suffisent pas. La démarche la plus fiable est de constituer un petit jeu de test à partir de vrais cas, en français, représentatifs de l'usage visé :

quelques centaines d'exemples, rédigés ou relus par des personnes qui connaissent le domaine ;
des critères écrits à l'avance (exactitude, complétude, ton, respect des consignes), pour éviter de juger au cas par cas ;
une évaluation humaine en aveugle, au moins sur un échantillon, quand on compare des réponses rédigées ;
des cas difficiles volontairement inclus : variantes régionales du français (Québec, Belgique, Suisse, Afrique), fautes de frappe, langage familier, termes techniques.

Si ces exemples contiennent des données personnelles, ou s'ils sont tirés de textes protégés, le cadre juridique s'applique aussi à l'évaluation : voir notre article sur la fouille de textes en droit français.

En résumé

Un bon score en anglais ne dit rien du français : cherchez des résultats en français.
Distinguez les tests natifs (FQuAD, PIAF, FrenchBench) des tests traduits (XNLI) et des tests prévus pour les modèles d'encodage (FLUE).
Méfiez-vous des écarts faibles et des progrès soudains : la contamination est fréquente.
Pour un usage réel, rien ne remplace un jeu de test construit à partir de vos propres cas.

Sources

Le et al., « FlauBERT: Unsupervised Language Model Pre-training for French », LREC 2020 (présentation de FLUE), ACL Anthology.
Conneau et al., « XNLI: Evaluating Cross-lingual Sentence Representations », EMNLP 2018 ; d'Hoffschmidt et al., « FQuAD: French Question Answering Dataset », Findings of EMNLP 2020.
Faysse et al., « CroissantLLM: A Truly Bilingual French-English Language Model », 2024 (présentation de FrenchBench) ; fiche du jeu de données PIAF sur le Hub de Hugging Face.