Il vocabolario dell'IA

Corpus di addestramento: fino a quando il modello ha appreso?

Un modello è stato addestrato su testi raccolti fino a una data determinata, detta data di taglio. Oltre quella data non sa nulla. Non è un ritardo che un aggiornamento colmerebbe: è una proprietà della sua fabbricazione, e ha conseguenze dirette su ciò che può dire del diritto vigente.

Che cosa ricopre la data

L'addestramento di un modello consiste nel fargli leggere una quantità considerevole di testi, raccolti in un momento preciso. Quella raccolta si arresta, l'addestramento comincia, e dura mesi. Il modello che ne esce conosce il mondo quale era alla data della raccolta.

Tra quella data e il momento in cui lo interrogate trascorre comunemente un anno. Una pronuncia resa 8 mesi fa, un testo entrato in vigore in questo trimestre, una posizione amministrativa precisata quest'estate: il modello li ignora, e nulla nella sua risposta lo indicherà.

Il comportamento che inganna

Un modello interrogato su un'evoluzione successiva al proprio taglio non risponde di ignorarla. Risponde a partire da ciò che sa, con la stessa sicurezza del resto.

Su una questione giuridica ciò produce una risposta che descrive lo stato anteriore del diritto senza segnalarlo. È esatta alla propria data e falsa oggi, e nulla consente di distinguere le due alla lettura.

Questo comportamento è prossimo all'allucinazione senza esserlo. Il modello non inventa nulla: restituisce fedelmente uno stato del mondo che non è più quello giusto.

Una confusione frequente

Si crede spesso che il modello apprenda con l'uso, e che un'informazione comunicata oggi venga a correggerne la conoscenza. Non è così: ciò che gli date serve a rispondere alla vostra domanda, poi scompare.

Allo stesso modo, una nuova versione di un modello sposta in avanti la data di taglio senza eliminare il problema: lo differisce di qualche mese.

Che cosa corregge il problema

Un solo meccanismo: fornire la fonte nel momento della domanda, sia allegandola voi, sia facendola cercare al dispositivo in un fondo tenuto aggiornato.

È precisamente ciò che fa un dispositivo di ricerca prima della risposta. Il modello cessa allora di rispondere dalla propria memoria e risponde da ciò che gli è stato messo sotto gli occhi, il che sposta la questione dalla sua data di taglio alla freschezza del fondo interrogato.

La domanda giusta da porre a un fornitore diventa dunque: su quale fondo si appoggia il dispositivo, e con quale frequenza viene aggiornato? Verte su qualcosa di verificabile, a differenza della data di taglio del modello.

Che cosa non risolve

Fornire una fonte recente al momento della domanda risolve il caso trattato, e quello soltanto. Il modello non ne saprà di più la volta successiva.

E il taglio non si vede dall'esterno. I fornitori lo pubblicano raramente in modo visibile, e un modello interrogato sulla propria data di taglio dà una risposta poco affidabile, non figurando necessariamente quell'informazione in ciò che ha appreso.

Va aggiunto che il taglio non è netto. I corpora contengono documenti di date eterogenee, e taluni ambiti sono meno coperti di altri. Un modello può dunque conoscere un'evoluzione di gennaio e ignorarne una del novembre precedente.

Perché conta per un giurista

Perché il diritto è datato per natura, e la vostra materia prima cambia più volte l'anno. Un modello che ignori gli ultimi 6 mesi è inutilizzabile da solo su qualsiasi questione di diritto positivo.

La conseguenza pratica è netta: su una domanda che verta sullo stato attuale del diritto, un modello interrogato senza fonte non ha soltanto un rischio di errore, ha una garanzia di ritardo. Ciò che vale è quel che fa di una fonte che gli si fornisce.