Le vocabulaire de l'IA

Corpus d'entraînement : jusqu'à quand le modèle a-t-il appris ?

Un modèle a été entraîné sur des textes rassemblés jusqu'à une date donnée, appelée date de coupure. Au-delà, il ne sait rien. Ce n'est pas un retard qu'une mise à jour comblerait : c'est une propriété de sa fabrication, et elle a des conséquences directes sur ce qu'il peut dire du droit en vigueur.

Ce que la date recouvre

L'entraînement d'un modèle consiste à lui faire lire une quantité considérable de textes, rassemblés à un moment précis. Cette collecte s'arrête, l'entraînement commence, et il dure des mois. Le modèle qui en sort connaît le monde tel qu'il était à la date de la collecte.

Entre cette date et le moment où vous l'interrogez, il s'écoule couramment un an. Une décision rendue il y a 8 mois, un texte entré en vigueur ce trimestre, une position administrative précisée cet été : le modèle les ignore, et rien dans sa réponse ne l'indiquera.

Le comportement qui trompe

Un modèle interrogé sur une évolution postérieure à sa coupure ne répond pas qu'il l'ignore. Il répond à partir de ce qu'il sait, avec la même assurance que sur le reste.

Sur une question juridique, cela produit une réponse qui décrit l'état antérieur du droit sans le signaler. Elle est exacte à sa date et fausse aujourd'hui, et rien ne permet de distinguer les deux à la lecture.

Ce comportement est proche de l'hallucination sans en être une. Le modèle n'invente rien : il restitue fidèlement un état du monde qui n'est plus le bon.

Une confusion fréquente

On croit souvent que le modèle apprend au fil de l'usage, et qu'une information communiquée aujourd'hui viendra corriger sa connaissance. Ce n'est pas le cas : ce que vous lui donnez sert à répondre à votre question, puis disparaît.

De même, une nouvelle version d'un modèle repousse la date de coupure sans supprimer le problème : elle le déplace de quelques mois.

Ce qui corrige le problème

Un seul mécanisme : fournir la source au moment de la question, soit que vous la joigniez, soit que le dispositif aille la chercher dans un fonds tenu à jour.

C'est précisément ce que fait un dispositif de recherche avant réponse. Le modèle cesse alors de répondre depuis sa mémoire et répond depuis ce qu'on lui a mis sous les yeux, ce qui déplace la question de sa date de coupure vers la fraîcheur du fonds interrogé.

La bonne question à poser à un fournisseur devient donc : sur quel fonds le dispositif s'appuie-t-il, et à quelle fréquence est-il actualisé ? Elle porte sur quelque chose de vérifiable, contrairement à la date de coupure du modèle.

Ce que ça ne résout pas

Fournir une source récente au moment de la question règle le cas traité, et lui seul. Le modèle ne saura pas davantage la fois suivante.

Et la coupure ne se voit pas de l'extérieur. Les fournisseurs la publient rarement de manière visible, et un modèle interrogé sur sa propre date de coupure donne une réponse peu fiable, cette information ne figurant pas nécessairement dans ce qu'il a appris.

Il faut ajouter que la coupure n'est pas nette. Les corpus contiennent des documents de dates hétérogènes, et certains domaines sont moins bien couverts que d'autres. Un modèle peut donc connaître une évolution de janvier et ignorer une évolution de novembre précédent.

Pourquoi ça compte pour un juriste

Parce que le droit est daté par nature, et que votre matière première change plusieurs fois par an. Un modèle qui ignore les 6 derniers mois est inutilisable seul sur toute question de droit positif.

La conséquence pratique est nette : sur une question portant sur l'état actuel du droit, un modèle interrogé sans source n'a pas seulement un risque d'erreur, il a une garantie de retard. Ce qui vaut, c'est ce qu'il fait d'une source qu'on lui fournit.