Le vocabulaire de l'IA
Benchmark : les scores publiés disent-ils quoi que ce soit de votre usage ?
Un benchmark est un test standardisé qui compare des modèles sur une même série de questions. Les scores publiés mesurent une capacité générale, sur des tâches courtes et isolées, dans des conditions qui ne ressemblent pas à celles d'un dossier. Ils sont utiles aux laboratoires et de peu de secours pour choisir un outil.
Ce qu'ils mesurent réellement
Une série de questions à réponse vérifiable, posées sans contexte, dont on compte les bonnes réponses. Les tests juridiques existants portent souvent sur des examens professionnels : questions fermées, réponse unique, énoncé complet fourni.
Ce sont des conditions où un modèle excelle, et elles n'ont presque rien en commun avec le travail réel. Une question d'examen contient tout ce qu'il faut pour y répondre ; un dossier n'a jamais cette propriété.
Quatre raisons de s'en méfier
La contamination : un test publié finit dans les corpus d'entraînement des modèles suivants, qui le réussissent alors sans rien démontrer.
L'écart de format : les scores portent sur des tâches courtes, alors que les difficultés apparaissent sur les tâches longues, où il faut tenir des définitions et des renvois.
L'absence de contexte : rien ne mesure la capacité à travailler sur un dossier de plusieurs centaines de pièces avec des décisions antérieures.
Le choix du test : un fournisseur publie les benchmarks où il est bon, ce qui est légitime et rend les comparaisons entre annonces peu concluantes.
Un cas qui illustre l'écart
Un modèle qui réussit un examen professionnel avec un score élevé impressionne, et le résultat est réel. Mais examinez les conditions : l'énoncé contient tous les faits utiles, la question appelle une réponse unique, et personne ne demande au candidat de citer ses sources.
Prenez maintenant la même question sur un dossier réel. Les faits sont dispersés dans 80 pièces, dont certaines se contredisent. Plusieurs réponses sont défendables selon la stratégie retenue. Et chaque affirmation devra être rattachée à une source vérifiable.
Le score obtenu à l'examen ne dit rien sur ce second exercice, qui est pourtant celui que vous achetez.
Ce que ça ne résout pas
Un score élevé ne dit rien de ce qui vous intéresse : la fiabilité des références citées, la tenue d'un document long, le comportement quand le système ne trouve pas ce qu'il cherche.
Et un score faible ne disqualifie pas. Un modèle moyen aux tests, correctement encadré et alimenté avec votre dossier, produira un meilleur travail qu'un modèle excellent interrogé à vide.
Ce qui remplace un benchmark
Un test conduit chez vous, sur une pratique que vous connaissez et une question dont vous avez déjà la réponse. C'est plus long à organiser qu'une lecture de scores, et c'est la seule mesure qui porte sur votre usage.
Trois conditions le rendent probant : que la pratique soit réelle et récente, que la question ait déjà été traitée pour que le résultat soit jugeable immédiatement, et qu'elle soit difficile — une question facile ne prouve rien.
Pourquoi ça compte pour un juriste
Parce que ces scores sont l'argument le plus fréquent en réunion, et le plus difficile à contredire sans passer pour rétif à la mesure. Or les contester est ici la position rigoureuse : une mesure faite dans des conditions étrangères aux vôtres ne prédit pas votre résultat.
La réponse à opposer est simple et se refuse difficilement : testons-le sur un de nos dossiers.