Le vocabulaire de l'IA

Contexte : pourquoi un bon modèle produit-il un mauvais document ?

Le contexte est l'ensemble de ce qu'il faut savoir du dossier pour produire le bon document : les positions du client, ce qui a été négocié, ce qui a été écarté et pourquoi. Un modèle excellent qui ne l'a pas produit un document irréprochable et générique — c'est-à-dire inutilisable en l'état.

Ce que recouvre le mot

Pas les documents, qui sont accessibles, mais ce qui les entoure. Que ce client refuse systématiquement les clauses d'exclusivité. Que le plafond de responsabilité a été obtenu contre une extension des garanties. Que le point sur la propriété des développements a été tranché il y a deux ans et ne doit pas être rouvert.

Aucune de ces informations ne figure dans un contrat. Elles vivent dans la mémoire de ceux qui ont négocié, et se transmettent oralement quand quelqu'un reprend le dossier.

Pourquoi le modèle n'y peut rien

Un modèle a appris sur des corpus généraux. Il connaît le droit, les usages de rédaction, la structure d'un acte. Il ne connaît pas votre client, et aucune progression de sa puissance n'y changera quoi que ce soit — ce n'est pas une question de capacité mais d'accès.

C'est pourquoi l'écart entre un modèle moyen et un modèle excellent est faible sur une tâche contextualisée, et considérable sur une tâche générique. Sur la première, ce qui manque au moins bon lui manque aussi.

Le symptôme qui le révèle

Le document produit est bien écrit, juridiquement correct, et il ne va pas. Il traite un point que ce client ne veut pas voir apparaître, il omet une précision obtenue de haute lutte, il rouvre un arbitrage tranché.

Le relecteur passe alors plus de temps à corriger qu'il n'en aurait passé à rédiger, parce qu'il faut d'abord identifier ce qui cloche dans un texte qui n'a aucun défaut visible.

Ce qui distingue le contexte des documents

Une confusion mérite d'être levée, parce qu'elle conduit à surestimer ce qu'un accès aux fichiers apporte.

Donner à un système l'accès à tous les documents d'un dossier lui donne accès à ce qui a été signé, pas à ce qui a été décidé. La différence est celle qui sépare le résultat d'une négociation de son déroulement : le contrat dit ce qui a été convenu, il ne dit ni ce qui a été demandé et refusé, ni ce qui a été concédé en échange.

C'est précisément cette part-là qui constitue le contexte, et c'est celle qui n'existe dans aucun document.

Ce que ça ne résout pas

Fournir le contexte à chaque demande est possible et coûteux. C'est ce que font ceux qui obtiennent de bons résultats : ils passent une heure à expliquer le dossier avant de demander quoi que ce soit.

Ce coût ne s'amortit pas. La fois suivante, il faut recommencer à l'identique, parce que rien n'a été conservé. C'est la raison pour laquelle la plupart des praticiens abandonnent après deux essais et reviennent aux tâches courtes, où le contexte tient dans la question.

Et un contexte conservé ne remplace pas le jugement. Savoir que ce client refuse l'exclusivité ne dit pas s'il faut la refuser cette fois-ci.

Pourquoi ça compte pour un juriste

Parce que c'est l'explication de la déception la plus fréquente : l'outil est excellent en démonstration et décevant sur les vrais dossiers. La démonstration porte sur une tâche isolée, où le contexte tient dans l'énoncé ; le dossier n'a jamais cette propriété.

La question à poser est donc celle-ci : ce que je lui explique aujourd'hui, le saura-t-il encore la semaine prochaine ? Si la réponse est non, chaque usage repartira de zéro.