Il vocabolario dell'IA
RAG: legge davvero i vostri documenti?
Il RAG — generazione aumentata dal recupero — designa un dispositivo che va a cercare documenti pertinenti prima di formulare una risposta, invece di rispondere soltanto a partire da ciò che il modello ha appreso. È oggi il modo più diffuso di far lavorare un sistema sui vostri documenti.
Come funziona, in tre tempi
La domanda posta viene anzitutto trasformata in una rappresentazione che consente di confrontarla con dei documenti. Il sistema seleziona poi i passaggi più vicini nel fondo che gli è stato dato — i vostri contratti, le vostre note, una banca dati giurisprudenziale. Infine redige la risposta appoggiandosi a quei passaggi, che ha davanti agli occhi nel momento in cui risponde.
La differenza rispetto a un modello interrogato da solo è quella che separa un esame a libro chiuso da un esame a libro aperto.
Una nota di lessico, poiché la sigla circola senza essere spiegata: retrieval designa il recupero, augmented generation la produzione di testo arricchita da ciò che è stato recuperato. Il nome descrive dunque esattamente il meccanismo, cosa rara in questo settore.
Che cosa cambia
Il sistema può citare fonti che esistono, poiché le ha effettivamente recuperate. Può lavorare su documenti che non ha mai visto durante l'apprendimento, compresi quelli firmati ieri. E può indicare da dove proviene la risposta, il che rende praticabile la verifica.
Il sistema non sa ciò che non ha trovato. Un'assenza di risultati somiglia a un'assenza di norma.
Che cosa non risolve
La qualità della risposta dipende interamente dalla qualità del recupero. Se i passaggi giusti non emergono, il sistema risponde su quelli sbagliati, con la stessa sicurezza. È il difetto principale del dispositivo ed è poco visibile: la risposta è ben formata, è semplicemente fondata su altro.
Il difetto è tanto più difficile da vedere in quanto nulla lo segnala. Il sistema non dice di aver esitato tra due passaggi, né che nessuno corrispondeva davvero: risponde con ciò che ha.
Il frazionamento dei documenti pone un problema proprio. Per essere confrontati, i testi vengono suddivisi; una clausola la cui portata dipende da una definizione situata 40 pagine più avanti può emergere senza di essa. Il sistema legge allora un frammento corretto e ne trae una conseguenza falsa.
Non elimina le allucinazioni, ne sposta la natura. Il sistema inventa meno riferimenti e può sempre interpretare male quelli che ha trovato, o colmare da sé ciò che i passaggi recuperati non dicono.
E soprattutto non costituisce una memoria. Il RAG ritrova documenti; non conserva né le decisioni assunte, né le loro motivazioni, né ciò che è stato scartato. Alla domanda perché abbiamo accettato questa clausola, risponderà mostrandovi la clausola.
Che cosa chiedere a un fornitore
Tre domande bastano a valutare un dispositivo di questo tipo, e si pongono senza competenze tecniche.
Su quale fondo si effettua il recupero: i nostri documenti soltanto, una banca dati esterna, entrambi?
Che cosa accade quando non viene trovato nulla di pertinente — il sistema lo dice, o risponde comunque?
Posso vedere i passaggi sui quali la risposta si fonda, e aprirli?
La terza è la più discriminante. Un dispositivo che non mostra i propri passaggi vi chiede di credergli; un dispositivo che li mostra vi consente di verificare in qualche secondo.
Perché conta per un giurista
Perché è il termine che sentirete più spesso in risposta alla domanda se il sistema lavori sui vostri documenti. La risposta è sì, e merita altre due domande: su quale fondo esattamente, e come saprete che il recupero ha mancato qualcosa.
La seconda è la più utile. Un dispositivo che non trova nulla deve dirlo come tale, e non lasciar credere che nulla esista.