Il vocabolario dell'IA

Token: perché la vostra fattura si conta in frammenti di parole?

Un token è l'unità che i modelli manipolano: un frammento di parola, in genere 3–4 caratteri. I sistemi non leggono parole ma questi frammenti, e la fatturazione segue tale suddivisione. È per questo che il costo di un trattamento si calcola in token e non in pagine.

Perché suddividere le parole

Perché nessun vocabolario può contenere tutte le parole esistenti, a maggior ragione in più lingue e con la terminologia tecnica di ciascun mestiere. Suddividendo in frammenti ricorrenti, un modello può comporre qualsiasi parola, comprese quelle che non ha mai incontrato.

Una parola corrente forma un solo token. Un termine raro o un riferimento giurisprudenziale ne forma diversi, perché i suoi frammenti sono meno frequenti.

Che cosa cambia per un giurista

Le lingue diverse dall'inglese consumano di più, di circa il 20–30% a parità di contenuto. Poiché i modelli sono stati addestrati su corpora prevalentemente anglofoni, i loro frammenti sono ottimizzati per quella lingua. Lo stesso contratto costa dunque di più da trattare in italiano.

Il lessico giuridico aggrava quello scarto. I termini processuali, i riferimenti normativi, i numeri di provvedimento si suddividono male e consumano più token ciascuno.

Come ordine di grandezza, una pagina di testo giuridico denso rappresenta 600–800 token in italiano. Un contratto di 80 pagine ne rappresenta dunque diverse decine di migliaia, e occorre contare tanto ciò che entra quanto ciò che esce.

Dove la fattura sorprende

Due meccanismi spiegano gli scarti tra la stima e la fattura reale.

Il primo è che lo storico di uno scambio viene rinviato a ogni turno. Una conversazione di 20 domande non costa 20 volte una domanda: ogni nuova richiesta trasporta tutto ciò che precede, e il costo cresce più rapidamente del numero di scambi.

Il secondo è che i documenti allegati contano quanto ciò che scrivete. Sottoporre un contratto di 80 pagine per porre una domanda di 3 righe costa il prezzo delle 80 pagine.

La suddivisione evolve inoltre con le versioni dei modelli. Uno stesso testo può rappresentare un numero di token diverso dopo un aggiornamento, senza che nulla sia cambiato dalla vostra parte.

Che cosa non risolve

Il conteggio dei token non dice nulla della qualità del lavoro. Un sistema che consuma poco può semplicemente aver troncato ciò che gli è stato dato, e un sistema che consuma molto può farlo per cattive ragioni — rinviando ogni volta l'integralità di uno storico di cui non ha bisogno.

E non è un indicatore di efficienza comparabile da un fornitore all'altro: ciascuno suddivide secondo il proprio vocabolario, sicché lo stesso testo non produce lo stesso numero di token ovunque.

Il termine stesso non ha equivalente italiano consacrato. Si incontra talvolta tradotto come «gettone», il che non aiuta granché: la traduzione è esatta e non dice nulla di più dell'originale.

Perché conta per un giurista

Perché è l'unità in cui la vostra fattura è espressa, e non ha alcun rapporto con il modo in cui misurate il vostro lavoro. Un preventivo espresso in token non si confronta né con un forfait per utente, né con una tariffa per pratica.

Le due domande utili sono dunque: quanti token rappresenta un compito tipico da noi, e che cosa accade in caso di superamento — fatturazione supplementare, rallentamento, o blocco?