Il vocabolario dell'IA

Memoria: perché una finestra di contesto lunga non basta?

La finestra di contesto è ciò che un modello può leggere in una volta. La memoria è ciò che un sistema conserva da una volta all'altra. Sono cose distinte: una finestra immensa consente di trattare un documento molto lungo, non consente di ricordare ciò che è stato deciso la settimana scorsa.

Che cos'è una finestra di contesto

È la quantità di testo che un modello può prendere in considerazione per produrre una risposta: la vostra richiesta, i documenti che allegate, e lo scambio in corso. I modelli recenti ne accettano l'equivalente di diverse centinaia di pagine, cosa impensabile fino a poco fa.

Quella capacità progredisce rapidamente, è spettacolare, ed è messa in evidenza in tutti gli annunci. A ragione: consente di sottoporre un contratto intero anziché frazionarlo.

Perché ciò non costituisce una memoria

Perché la finestra si svuota. Quando lo scambio si chiude, tutto ciò che conteneva scompare. La volta successiva il sistema riparte da zero: non sa né che avete già lavorato su quella pratica, né che cosa avevate concluso.

La conseguenza è quella che tutti i professionisti hanno constatato senza nominarla: il costo della messa in contesto si paga integralmente ogni volta. Raccogliere gli atti, spiegare la situazione, richiamare le posizioni — tre ore la prima volta, tre ore la seconda.

E quel costo non si distribuisce sugli usi successivi, contrariamente a ciò che ci si attenderebbe da un investimento. Si ripete identico, il che spiega perché la maggior parte degli utenti torni ai compiti brevi dopo due o tre tentativi.

Ne discende una distinzione utile: la finestra è una capacità di lettura, la memoria una capacità di conservazione. Aumentare la prima non ha mai prodotto la seconda, e nessun progresso futuro dei modelli lo farà, perché non si tratta dello stesso problema.

Che cosa presuppone una vera memoria

Qualcosa che esista al di fuori del modello e gli sopravviva: un luogo in cui siano conservati la pratica, le decisioni assunte, le loro motivazioni, la terminologia stabilita. Il modello vi attinge nel momento in cui viene interrogato, e vi deposita ciò che merita di essere conservato.

Non è una proprietà del modello ma di ciò che lo circonda. Un modello dalla finestra gigantesca poggiato sul nulla resta privo di memoria; un modello più modesto poggiato su uno strato che conserva ne ha una.

Che cosa non risolve

Una memoria trattiene soltanto ciò che le è stato affidato. Un arbitrato assunto in riunione e mai consegnato non vi figurerà, quale che sia la qualità dell'architettura.

Pone anche una domanda che la finestra non poneva: che cosa occorre conservare, e per quanto tempo? Conservare tutto produce un volume inutilizzabile; conservare soltanto le conclusioni equivale a perdere le motivazioni, cioè precisamente ciò che si voleva tenere.

E non rende nulla più affidabile di per sé. Una decisione errata ben conservata sarà riproposta fedelmente per tre anni.

Perché conta per un giurista

Perché è il punto sul quale gli annunci di prodotto sono più ingannevoli, senza mentire. Una finestra di contesto estesa è una conquista reale, ed è presentata in un modo che lascia intendere che il sistema si ricordi.

Il test sta in una domanda: se torno tra tre settimane su quella pratica, che cosa sa ancora? Se la risposta è nulla, non vi è memoria, quale che sia la dimensione della finestra.