Il vocabolario dell'IA

Temperatura: che cosa rende un sistema prudente o temerario?

La temperatura è un parametro che determina quanto un modello si discosti dalla formulazione più probabile. Bassa, produce risposte regolari e prevedibili. Alta, varia di più. Non è un regolatore di prudenza intellettuale: non rende il sistema più rigoroso, soltanto più costante.

Che cosa fa realmente il parametro

A ogni passaggio, un modello dispone di un ventaglio di continuazioni possibili, ciascuna con una probabilità. La temperatura decide se scelga sistematicamente la più probabile o se ammetta le successive.

A temperatura 0, il modello sceglie sempre la stessa cosa: due volte la stessa richiesta dà pressoché lo stesso testo. A temperatura elevata esplora, il che produce varietà — utile per trovare formulazioni, meno per un lavoro che debba essere riproducibile.

Un esempio per fissare le idee

Chiedete tre volte di seguito una clausola di riservatezza. A temperatura bassa ottenete tre testi quasi identici: stessa struttura, stesse formulazioni, stesse scelte redazionali.

A temperatura più elevata ottenete tre varianti: una comincia con la definizione delle informazioni riservate, un'altra con gli obblighi, la terza introduce un'eccezione che le prime due non avevano.

Nessuna delle tre è più esatta delle altre. È questo il punto: il parametro sposta la varietà, non la correttezza.

Il fraintendimento da evitare

Si dice comunemente che una temperatura bassa renda il modello più affidabile. È inesatto e merita di essere corretto, perché la formula circola molto.

Un modello a temperatura 0 produrrà l'errore più probabile, in modo perfettamente regolare. Non verifica nulla di più, non dubita di più: è semplicemente costante. Un riferimento inventato a temperatura 0 sarà inventato allo stesso modo a ogni tentativo.

Ciò che il parametro migliora è dunque la riproducibilità, non l'esattezza. Le due vengono spesso confuse, e la differenza è considerevole per un lavoro che impegna.

Che cosa non risolve

Nessun valore elimina le allucinazioni. Ne modifica la costanza, non l'esistenza.

E il parametro è raramente nelle vostre mani. Nella maggior parte dei prodotti professionali è fissato dal fornitore, diversamente secondo i compiti, senza che l'utente ne sia informato. Ereditate dunque una scelta che non avete compiuto.

Il parametro non è nemmeno l'unico fattore di variazione. L'ordine in cui i documenti sono forniti, il modo in cui la richiesta è formulata e la versione del modello impiegata producono anch'essi scarti. La temperatura è semplicemente il solo di questi fattori che abbia un nome e che si regoli.

Ne discende una conseguenza pratica per l'organizzazione del lavoro: se due versioni successive di uno stesso elaborato differiscono, non si può sapere se lo scarto derivi da una riformulazione della richiesta o dal parametro. Il confronto tra due tentativi perde dunque una parte del proprio valore, e conviene saperlo prima di trarne conclusioni sulla qualità di uno strumento.

Perché conta per un giurista

Perché ciò spiega un fenomeno sconcertante: due collaboratori che pongano la stessa domanda ottengono due risposte diverse, e l'uno come l'altro crede di aver formulato male la richiesta.

La domanda da porre al fornitore non è dunque il valore del parametro, che non vi dirà nulla, ma questa: su uno stesso compito, otterrò due volte lo stesso risultato, e in caso contrario in quale misura i risultati possono divergere?