Il vocabolario dell'IA

Inferenza: che cosa accade tra la vostra domanda e la risposta?

L'inferenza è il momento in cui un modello produce una risposta a partire da ciò che gli viene dato. È la fase di esecuzione, da distinguere dall'addestramento, avvenuto una volta per tutte prima che voi utilizzaste il sistema. Ogni inferenza riparte dallo stesso modello e non modifica nulla.

Addestramento e inferenza

L'addestramento è un processo lungo e costoso che ha prodotto il modello. È concluso: il modello che interrogate oggi è identico a quello di ieri, e lo resterà finché il laboratorio non ne pubblichi una nuova versione.

L'inferenza è ciò che accade ogni volta che lo interrogate. Dura qualche secondo, consuma risorse di calcolo, e non lascia alcuna traccia nel modello.

La conseguenza che tutti constatano senza nominarla

Il modello non impara da voi. Ciò che gli avete spiegato ieri, non lo sa oggi. Ciò che avete corretto non sarà corretto la volta successiva.

È la fonte di una frustrazione molto diffusa: si ha l'impressione di formare un collaboratore che ricominciasse ogni mattina da zero. L'impressione è esatta, e non deriva da un difetto di progettazione ma dalla natura stessa dell'inferenza.

Quando un sistema sembra ricordare, non è mai il modello a ricordare: è uno strato attorno a esso che ha conservato qualcosa e glielo restituisce al momento dell'inferenza successiva.

Che cosa il termine ricopre dal lato del fornitore

Incontrerete il termine in due contesti che non hanno lo stesso significato per voi.

In una discussione tecnica, l'inferenza designa il calcolo stesso, e il suo costo: è ciò che viene fatturato, è ciò che richiede qualche secondo, ed è ciò che spiega perché una richiesta complessa sia più lenta di una semplice.

In una discussione contrattuale, si parlerà di inferenza per designare la fase in cui i vostri dati sono trasmessi al motore — in contrapposizione all'addestramento. Un impegno di non utilizzo per l'addestramento non dice dunque nulla di ciò che accade durante l'inferenza: conservazione, registrazione e accesso degli operatori sono questioni distinte da porre separatamente.

Una nota di lessico, poiché il termine compare nei preventivi: «costo di inferenza» designa il prezzo del calcolo a ogni sollecitazione, in contrapposizione al costo di addestramento, che non pagate mai direttamente. È dunque la sola delle due nozioni che figuri sulla vostra fattura.

Che cosa non risolve

Il fatto che l'inferenza non modifichi il modello non garantisce nulla sulla riservatezza. I vostri dati possono essere conservati, registrati, riletti da un operatore o impiegati per un addestramento successivo, secondo ciò che il contratto prevede — questioni distinte da quella del funzionamento tecnico.

E il carattere fisso del modello non lo rende stabile nel tempo. Il laboratorio può sostituirlo con una nuova versione senza preavviso, e il comportamento cambia allora da un giorno all'altro su compiti che funzionavano.

Perché conta per un giurista

Perché ciò spiega perché occorra rifornire il contesto ogni volta, e perché quel costo non si ammortizzi mai. Ogni inferenza parte da zero più ciò che le viene dato, e nulla d'altro.

Consente anche di porre la domanda giusta a un fornitore che prometta che il proprio sistema «impara dai vostri usi»: che cosa impara esattamente, dato che non è il modello? La risposta descrive l'architettura reale, o rivela che non ve n'è alcuna.