« Quel est le meilleur modèle ? » On ouvre un classement, on regarde qui est en tête ce mois-ci, on signe. C'est rapide, c'est chiffré, ça rassure.
Le problème, c'est que ces classements ne mesurent pas ce que vous croyez. Ils ne disent pas si un modèle fera correctement votre travail - ils disent qui a le mieux réussi un examen public, dont tout le monde connaît les annales.
Bonne nouvelle : l'évaluation qui compte, vous pouvez la construire vous-même, et ça prend une journée.
Un score qu'on optimise cesse de mesurer
Les faits se sont accumulés vite. Hugging Face, qui hébergeait le plus connu des classements de modèles ouverts, a fini par l'archiver : après deux ans et des dizaines de milliers de modèles soumis, les équipes optimisaient pour ce classement précis plutôt que pour des capacités générales.
Une étude d'avril 2025, « The Leaderboard Illusion », décrit un autre travers sur la populaire arène de comparaison Chatbot Arena : certains grands laboratoires y testeraient discrètement de nombreuses variantes non publiées - les auteurs citent jusqu'à 27 variantes avant la sortie d'un seul modèle - pour ne rendre publique que la meilleure. Le classement affiché ne compare alors plus des modèles, mais des meilleures tentatives.
Même une évaluation exigeante peut se retrouver compromise sans mauvaise intention : Epoch AI a dû préciser publiquement qu'OpenAI, financeur de son benchmark de mathématiques FrontierMath, avait eu accès à la majorité des problèmes et de leurs solutions.
Enfin, on sait désormais que la triche peut être involontaire. Des chercheurs ont montré qu'il suffit d'inclure dans l'entraînement des questions du test légèrement reformulées pour gagner plusieurs dizaines de points - sans la moindre amélioration réelle de capacité.
L'image est celle du bachotage. Un élève à qui l'on donne les annales du bac décroche 18/20 sans mieux comprendre la matière - et vous n'apprenez rien sur ce qu'il fera au premier vrai dossier. C'est exactement ce qui se passe quand un score devient un objectif commercial : il cesse d'être une mesure.
Un benchmark, pour être précis
Techniquement, un benchmark n'est pas une note, c'est trois choses. Un jeu de questions figé (souvent quelques centaines, à choix multiple ou à réponse vérifiable). Un harnais de test : comment on formule la consigne, combien d'essais on autorise, comment on lit la réponse. Et une agrégation en un pourcentage unique.
Chacune des trois est fragile. Le jeu de questions fuit dans les données d'entraînement (c'est la « contamination »). Le harnais varie d'un labo à l'autre - OpenAI publie d'ailleurs simple-evals en open source précisément pour rendre ces protocoles reproductibles. Et le pourcentage final écrase tout le reste : coût, latence, fiabilité, comportement quand le modèle se trompe.
Ajoutez la saturation. GPQA Diamond, conçu en 2023 pour résister à une recherche web, est passé d'environ 39 % à plus de 80 % en moins de deux ans. Le rapport AI Index 2025 de Stanford note que les tests de référence se saturent de plus en plus vite, parfois en moins d'un an - d'où des examens toujours plus durs comme Humanity's Last Exam (2 500 questions, moins de 10 % de réussite au lancement). Un test saturé ne départage plus personne.
Les mesures qui ressemblent vraiment au travail
Tout n'est pas à jeter : certaines approches se rapprochent de l'usage réel, et sont bonnes à connaître.
- La durée de tâche. Plutôt qu'un score de questions-réponses, METR mesure la longueur des tâches qu'un modèle réussit une fois sur deux - et observe que cette durée double environ tous les 7 mois. C'est déjà plus proche de votre question réelle : « jusqu'où peut-il aller seul avant que je doive reprendre la main ? »
- Le vote humain. Chatbot Arena fait voter des humains sur des duels de réponses (plus d'un million de votes à la publication de l'étude). Utile pour le ressenti général, muet sur votre métier.
- Le nettoyage des tests. OpenAI a publié SWE-bench Verified - 500 tâches revérifiées à la main sur les 2 294 d'origine - après avoir constaté qu'une part notable des tâches étaient mal spécifiées, voire insolubles.
- La comparaison à conditions égales. Des observateurs indépendants comme Artificial Analysis standardisent prompts, infrastructure et métriques, et affichent la qualité avec le prix, la vitesse et la latence. C'est la bonne façon de lire un classement : jamais une note seule.
Le seul benchmark qui compte, c'est le vôtre
Anthropic le formule bien dans ses travaux sur l'évaluation : il faut des évaluations spécifiques au contexte de déploiement, pas un score unique.
En pratique, c'est très accessible. Prenez 30 à 50 cas réellement issus de votre activité : des demandes clients typiques, des documents compliqués, trois pièges connus. Écrivez pour chacun ce qu'est une bonne réponse. Vous tenez votre jeu de référence - votre « or ». Ensuite : vous rejouez ce jeu à chaque nouveau modèle, à chaque changement de prompt, et vous notez non seulement la justesse, mais aussi le coût par tâche et le délai. Gardez ces cas privés : le jour où ils traînent dans un dépôt public, ils deviennent contaminables, comme les autres.
Et souvenez-vous d'où vient l'essentiel de l'écart. À modèle identique, c'est ce qu'il y a autour - la boucle, les outils, la mémoire - qui décide du résultat. Un classement note un moteur nu ; vous, vous évaluez une voiture complète sur votre route à vous. C'est aussi ce qui rend la question « quel est le meilleur modèle ? » secondaire : le modèle est une commodité, et une évaluation maison vous permet d'en changer du jour au lendemain, preuves en main.
Ce qu'on fait
Chez Elephant in the Room, on installe cette boucle d'évaluation chez nos clients : un jeu de cas réels tiré de leur activité, branché sur leur company brain, rejoué automatiquement à chaque changement de modèle ou de prompt, avec qualité, coût et latence côte à côte - et un humain qui tranche sur ce qui compte. C'est ce qui permet de choisir un modèle sur vos chiffres, pas sur ceux d'un communiqué. Et c'est comme ça qu'on travaille nous-mêmes : nos propres agents sont évalués sur nos propres dossiers. On ne vend pas une théorie qu'on n'applique pas.
Un classement vous dit qui a le mieux passé l'examen. Vos dossiers vous disent qui sait faire le métier.
