Il vocabolario dell'IA

Allucinazione: perché il riferimento falso è sempre il più credibile?

Un'allucinazione è un'affermazione prodotta da un sistema di IA con la stessa sicurezza di un'affermazione esatta, ma che non corrisponde a nulla. In materia giuridica assume il più delle volte la forma di un riferimento plausibile e inesistente: autorità corretta, formato corretto, soluzione coerente con l'argomentazione, e nessuna pronuncia dietro.

Perché accade

Un modello linguistico non consulta una banca dati nel momento in cui risponde. Produce la continuazione più probabile di un testo, a partire da ciò che ha appreso. Ora, un riferimento giurisprudenziale ha una forma molto regolare — un'autorità, una sezione, una data, un numero — e quella forma è perfettamente imitabile senza che il contenuto esista.

Il sistema non mente e non si sbaglia nel senso in cui si sbaglierebbe una persona. Produce qualcosa che somiglia a un riferimento, perché è ciò che gli è stato chiesto.

Che cosa non è

Non è un errore di ragionamento. Un sistema può allucinare una fonte e insieme condurre un ragionamento giuridico corretto, ed è ciò che rende la cosa pericolosa: il testo si legge bene.

Non è nemmeno un difetto che un modello più potente elimini. I modelli recenti allucinano meno, allucinano ancora, e le loro allucinazioni sono più difficili da individuare proprio perché il resto del testo è migliore.

E non riguarda un fornitore in particolare. Le decisioni francesi della fine del 2025 che hanno rilevato giurisprudenza inventata in atti difensivi non distinguono gli strumenti impiegati.

Un collaboratore sbaglia là dove esita, e la sua esitazione è visibile. Un sistema produce un errore con la stessa sicurezza di un'affermazione esatta.

Un esempio, per fissare le idee

Chiedete se esista giurisprudenza su un punto preciso. Il sistema risponde citando una sentenza di corte d'appello, con la sua data e il suo numero, e ne riassume la soluzione in due righe perfettamente adatte alla vostra domanda.

Tutto è plausibile: la corte esiste, la data è coerente, il numero ha il formato giusto, e la soluzione è esattamente quella che ci si attenderebbe. Non c'è nulla da rilevare, se non aprendo la pronuncia. È ciò che spiega perché quei riferimenti superino la rilettura di avvocati competenti.

Come si contiene

Tre misure, in ordine di efficacia.

Fornire le fonti anziché farle produrre. Un sistema che cerca in un fondo reale prima di rispondere non può inventare una pronuncia che non ha trovato — può invece interpretarla male, il che è un altro problema.

Esigere che ogni riferimento sia apribile con un gesto. Un riferimento che non si può aprire non sarà aperto, e un riferimento non aperto è un riferimento non verificato.

Porre una regola assoluta anziché un regime proporzionato: nessuna fonte citata compare in un elaborato in uscita senza che qualcuno l'abbia aperta.

Che cosa non risolve

Nessuna architettura elimina il fenomeno. Si riduce la frequenza, si rende praticabile la verifica, non si ottiene una garanzia. Un fornitore che affermasse il contrario descriverebbe male il proprio sistema.

E la verifica ha un costo che non scompare. Aprire 40 riferimenti richiede tempo; ciò che si può cambiare è che quel tempo sia di qualche secondo per riferimento anziché di diversi minuti.

Perché conta per un giurista

Perché il rischio non si misura sul numero di errori ma su quelli che passano. Un tasso di errore che cala mentre crolla la rilevabilità degli errori residui è una combinazione sfavorevole per chi impegna la propria firma.

E perché la censura, quando arriva, non verte sull'uso dello strumento. Verte sul difetto di verifica, che è un obbligo risalente.