Le vocabulaire de l'IA

RAG : est-ce que ça lit vraiment vos documents ?

Le RAG — génération augmentée par récupération — désigne un dispositif qui va chercher des documents pertinents avant de formuler une réponse, au lieu de répondre uniquement à partir de ce que le modèle a appris. C'est aujourd'hui le moyen le plus répandu de faire travailler un système sur vos propres documents.

Comment ça marche, en trois temps

La question posée est d'abord transformée en une représentation qui permet de la comparer à des documents. Le système sélectionne ensuite les passages les plus proches dans le fonds qu'on lui a donné — vos contrats, vos notes, une base de jurisprudence. Enfin, il rédige sa réponse en s'appuyant sur ces passages, qu'il a sous les yeux au moment de répondre.

La différence avec un modèle interrogé seul est celle qui sépare un examen à livre fermé d'un examen à livre ouvert.

Un point de vocabulaire, puisque le sigle circule sans être expliqué : retrieval désigne la récupération, augmented generation la production de texte enrichie par ce qui a été récupéré. Le nom décrit donc exactement le mécanisme, ce qui est rare dans ce domaine.

Ce que ça change

Le système peut citer des sources qui existent, puisqu'il les a effectivement récupérées. Il peut travailler sur des documents qu'il n'a jamais vus pendant son apprentissage, y compris signés hier. Et il peut indiquer d'où vient sa réponse, ce qui rend la vérification praticable.

Le système ne sait pas ce qu'il n'a pas trouvé. Une absence de résultat ressemble à une absence de règle.

Ce que ça ne résout pas

La qualité de la réponse dépend entièrement de la qualité de la récupération. Si les bons passages ne remontent pas, le système répond sur les mauvais, avec la même assurance. C'est le défaut principal du dispositif et il est peu visible : la réponse est bien formée, elle est simplement fondée sur autre chose.

Ce défaut est d'autant plus difficile à voir que rien ne le signale. Le système ne dit pas qu'il a hésité entre deux passages, ni qu'aucun ne correspondait vraiment : il répond avec ce qu'il a.

Le découpage des documents pose un problème propre. Pour être comparés, les textes sont découpés en morceaux ; une clause dont la portée dépend d'une définition située 40 pages plus loin peut remonter sans elle. Le système lit alors un fragment correct et en tire une conséquence fausse.

Il ne supprime pas les hallucinations, il en déplace la nature. Le système invente moins de références et peut toujours mal interpréter celles qu'il a trouvées, ou combler par lui-même ce que les passages récupérés ne disent pas.

Et surtout, il ne constitue pas une mémoire. Le RAG retrouve des documents ; il ne conserve ni les décisions prises, ni leurs motifs, ni ce qui a été écarté. À la question « pourquoi avons-nous accepté cette clause », il répondra en vous montrant la clause.

Ce qu'il faut demander à un fournisseur

Trois questions suffisent à évaluer un dispositif de ce type, et elles se posent sans compétence technique.

Sur quel fonds la récupération s'effectue-t-elle exactement : nos documents seuls, une base externe, les deux ?

Que se passe-t-il quand rien de pertinent n'est trouvé — le système le dit, ou il répond quand même ?

Puis-je voir les passages sur lesquels la réponse s'appuie, et les ouvrir ?

La troisième est la plus discriminante. Un dispositif qui ne montre pas ses passages vous demande de le croire ; un dispositif qui les montre vous permet de vérifier en quelques secondes.

Pourquoi ça compte pour un juriste

Parce que c'est le mot que vous entendrez le plus souvent en réponse à la question « est-ce que ça travaille sur nos documents ». La réponse est oui, et elle mérite deux questions de plus : sur quel fonds exactement, et comment saurez-vous que la récupération a manqué quelque chose.

La seconde est la plus utile. Un dispositif qui ne trouve rien doit le dire comme tel, et non laisser croire que rien n'existe.