Il vocabolario dell'IA

Benchmark: i punteggi pubblicati dicono qualcosa del vostro uso?

Un benchmark è un test standardizzato che confronta modelli su una stessa serie di domande. I punteggi pubblicati misurano una capacità generale, su compiti brevi e isolati, in condizioni che non somigliano a quelle di una pratica. Sono utili ai laboratori e di scarso aiuto per scegliere uno strumento.

Che cosa misurano realmente

Una serie di domande a risposta verificabile, poste senza contesto, di cui si contano le risposte esatte. I test giuridici esistenti vertono spesso su esami professionali: domande chiuse, risposta unica, enunciato completo fornito.

Sono condizioni in cui un modello eccelle, e non hanno quasi nulla in comune con il lavoro reale. Una domanda d'esame contiene tutto ciò che serve per rispondervi; una pratica non ha mai quella proprietà.

Quattro ragioni di diffidenza

La contaminazione: un test pubblicato finisce nei corpora di addestramento dei modelli successivi, che lo superano senza dimostrare nulla.

Lo scarto di formato: i punteggi vertono su compiti brevi, mentre le difficoltà emergono sui compiti lunghi, dove occorre tenere definizioni e rinvii.

L'assenza di contesto: nulla misura la capacità di lavorare su una pratica di diverse centinaia di atti con decisioni anteriori.

La scelta del test: un fornitore pubblica i benchmark in cui è bravo, il che è legittimo e rende poco concludenti i confronti tra annunci.

Un caso che illustra lo scarto

Un modello che superi un esame professionale con un punteggio elevato impressiona, e il risultato è reale. Ma esaminate le condizioni: l'enunciato contiene tutti i fatti utili, la domanda richiede una risposta unica, e nessuno chiede al candidato di citare le proprie fonti.

Prendete ora la stessa domanda su una pratica reale. I fatti sono dispersi in 80 atti, alcuni dei quali si contraddicono. Più risposte sono difendibili secondo la strategia adottata. E ogni affermazione dovrà essere collegata a una fonte verificabile.

Il punteggio ottenuto all'esame non dice nulla su questo secondo esercizio, che è però quello che state acquistando.

Che cosa non risolve

Un punteggio elevato non dice nulla di ciò che vi interessa: l'affidabilità dei riferimenti citati, la tenuta di un documento lungo, il comportamento quando il sistema non trova ciò che cerca.

E un punteggio basso non squalifica. Un modello medio nei test, correttamente inquadrato e alimentato con la vostra pratica, produrrà un lavoro migliore di un modello eccellente interrogato a vuoto.

Che cosa sostituisce un benchmark

Un test condotto da voi, su una pratica che conoscete e una domanda della quale avete già la risposta. È più lungo da organizzare della lettura di alcuni punteggi, ed è l'unica misura che verta sul vostro uso.

Tre condizioni lo rendono probante: che la pratica sia reale e recente, che la domanda sia già stata trattata perché il risultato sia giudicabile immediatamente, e che sia difficile — una domanda facile non dimostra nulla.

Perché conta per un giurista

Perché quei punteggi sono l'argomento più frequente in riunione, e il più difficile da contraddire senza apparire refrattari alla misurazione. Ora, contestarli è qui la posizione rigorosa: una misura effettuata in condizioni estranee alle vostre non predice il vostro risultato.

La risposta da opporre è semplice e si rifiuta difficilmente: proviamolo su una delle nostre pratiche.