Le vocabulaire de l'IA

Mémoire : pourquoi une fenêtre de contexte longue ne suffit-elle pas ?

La fenêtre de contexte est ce qu'un modèle peut lire en une seule fois. La mémoire est ce qu'un système conserve d'une fois sur l'autre. Ce sont deux choses distinctes : une fenêtre immense permet de traiter un document très long, elle ne permet pas de se souvenir de ce qui a été décidé la semaine dernière.

Ce qu'est une fenêtre de contexte

C'est la quantité de texte qu'un modèle peut prendre en compte pour produire une réponse : votre demande, les documents que vous joignez, et l'échange en cours. Les modèles récents en acceptent l'équivalent de plusieurs centaines de pages, ce qui était impensable il y a peu.

Cette capacité progresse vite, elle est spectaculaire, et elle est mise en avant dans toutes les annonces. À juste titre : elle permet de soumettre un contrat entier au lieu de le découper.

Pourquoi cela ne fait pas une mémoire

Parce que la fenêtre se vide. Quand l'échange se termine, tout ce qu'elle contenait disparaît. La fois suivante, le système repart de zéro : il ne sait ni que vous avez déjà travaillé sur ce dossier, ni ce que vous aviez conclu.

La conséquence est celle que tous les praticiens ont constatée sans la nommer : le coût de mise en contexte se paie intégralement à chaque fois. Rassembler les pièces, expliquer la situation, rappeler les positions — trois heures la première fois, trois heures la deuxième.

Et ce coût ne se répartit pas sur les usages suivants, contrairement à ce qu'on attendrait d'un investissement. Il se répète à l'identique, ce qui explique que la plupart des utilisateurs reviennent aux tâches courtes après deux ou trois essais.

Ce qu'une vraie mémoire suppose

Quelque chose qui existe en dehors du modèle et qui lui survit : un endroit où sont conservés le dossier, les décisions prises, leurs motifs, la terminologie établie. Le modèle vient y puiser au moment où on l'interroge, et y dépose ce qui mérite d'être conservé.

Ce n'est pas une propriété du modèle mais de ce qui l'entoure. Un modèle à la fenêtre gigantesque adossé à rien reste sans mémoire ; un modèle plus modeste adossé à une couche qui conserve en a une.

Une distinction utile en découle : la fenêtre est une capacité de lecture, la mémoire est une capacité de conservation. Augmenter la première n'a jamais produit la seconde, et aucune progression future des modèles ne le fera, parce qu'il ne s'agit pas du même problème.

Ce que ça ne résout pas

Une mémoire ne retient que ce qui lui a été confié. Un arbitrage pris en réunion et jamais consigné n'y figurera pas, quelle que soit la qualité de l'architecture.

Elle pose aussi une question que la fenêtre ne posait pas : que faut-il conserver, et pendant combien de temps ? Tout conserver produit un volume inexploitable ; ne conserver que les conclusions revient à perdre les motifs, c'est-à-dire précisément ce qu'on voulait garder.

Et elle ne rend rien plus fiable en soi. Une décision erronée bien conservée sera resservie fidèlement pendant trois ans.

Pourquoi ça compte pour un juriste

Parce que c'est le point sur lequel les annonces produit sont les plus trompeuses, sans mentir. Une fenêtre de contexte étendue est une prouesse réelle, et elle est présentée d'une manière qui laisse entendre que le système se souvient.

Le test tient en une question : si je reviens dans trois semaines sur ce dossier, que sait-il encore ? Si la réponse est rien, il n'y a pas de mémoire, quelle que soit la taille de la fenêtre.