Il vocabolario dell'IA

Determinismo: perché la stessa domanda dà due risposte diverse?

Un sistema deterministico produce sempre lo stesso risultato a partire dagli stessi dati. I modelli linguistici non lo sono: selezionano le proprie parole tra più possibilità probabili, il che produce variazioni da un tentativo all'altro. Quella proprietà non è un difetto di fabbricazione, è il funzionamento normale.

Da dove viene la variazione

A ogni passaggio, il modello dispone di un ventaglio di continuazioni possibili con le loro probabilità. Ne sceglie una, e quella scelta comporta una parte di casualità regolabile. Due esecuzioni prendono dunque due percorsi lievemente diversi, che poi divergono.

Vi si aggiungono cause meno note. L'infrastruttura di calcolo introduce minuscoli scarti di arrotondamento secondo le macchine. E il fornitore può sostituire la versione del modello senza preavviso, il che ne modifica il comportamento da un giorno all'altro.

Che cosa ciò implica concretamente

Due collaboratori che pongano la stessa domanda ottengono due risposte diverse. Ciascuno crede di aver formulato male la richiesta, e nessuno dei due ha torto o ragione.

Un test concludente ieri può fallire oggi senza che nulla sia cambiato dalla vostra parte. Un risultato ottenuto in una dimostrazione non si riprodurrà necessariamente l'indomani.

E soprattutto, una verifica puntuale non garantisce nulla per gli usi successivi. Controllare un elaborato accerta la qualità di quell'elaborato, non quella del sistema.

Un esempio che disorienta i team

Uno studio valida un uso dopo tre tentativi concludenti su clausole di non concorrenza. Tre settimane dopo, un collaboratore ottiene un risultato nettamente meno buono su una clausola comparabile, e segnala che lo strumento si è degradato.

Nulla si è degradato. I primi tre tentativi avevano preso percorsi favorevoli; il quarto ne ha preso un altro, statisticamente normale. Tre tentativi non misurano un sistema non deterministico, ne danno tre campioni.

Ne discende una conseguenza pratica per la valutazione di uno strumento: un tentativo isolato, favorevole o sfavorevole, non informa. Occorre ripetere lo stesso compito più volte per osservare l'ampiezza degli scarti, cosa che quasi nessuno fa durante una dimostrazione.

Che cosa non risolve

Rendere un sistema strettamente deterministico non lo rende esatto. Produrrà l'errore più probabile con una regolarità perfetta, il che è più facile da rilevare e non meno falso.

E il determinismo completo resta fuori portata in pratica: anche a parametro fisso, le variazioni di infrastruttura e i cambi di versione sussistono.

Che cosa si può esigere invece

Non l'identità delle risposte, che non è raggiungibile, ma la stabilità di ciò che conta. Due esecuzioni possono formulare diversamente senza divergere nel merito: stesse fonti trattenute, stessi punti segnalati, stessa conclusione.

La domanda da porre al fornitore è dunque precisa: su uno stesso compito ripetuto, che cosa è garantito stabile, e che cosa non lo è? Un fornitore serio distingue i due; un fornitore approssimativo risponde che il sistema è affidabile.

È anche ciò che giustifica che un regime di verifica verta su categorie di elaborati e non su casi d'uso validati una volta per tutte.

Perché conta per un giurista

Perché il diritto funziona sulla riproducibilità: una stessa situazione richiama una stessa risposta, e uno studio che trattasse due pratiche identiche diversamente avrebbe un problema.

Uno strumento non deterministico introduce dunque una variabilità che la vostra organizzazione deve assorbire, mediante regole di verifica anziché mediante la fiducia nella costanza dello strumento.