Pratica

L'errore senza lezione

Le professioni esperte hanno un segreto che nessuno formula: non progrediscono perché evitano l'errore, ma perché i loro errori giovano a tutti. L'IA ha appena rotto questo meccanismo.

L'aviazione non è diventata l'attività più sicura del mondo perché gli aerei hanno smesso di cadere. Lo è diventata perché ogni incidente ha prodotto un rapporto, ogni rapporto un'analisi, ogni analisi una regola, e ogni regola una generazione di incidenti evitati. La medicina ha le sue riunioni di morbilità e mortalità, in cui le équipe sezionano i propri fallimenti davanti ai pari. Il diritto possiede la più antica di queste macchine: la giurisprudenza, che non è altro che il catalogo pubblico dei disaccordi risolti e degli errori corretti, offerto a tutti coloro che difenderanno cause in seguito. Ovunque, lo stesso meccanismo: il fallimento di uno diventa la lezione di tutti.

Questo meccanismo è così costitutivo delle professioni che non lo si vede più. Eppure si fonda su condizioni precise, costose, conquistate a caro prezzo: che l'errore sia visibile invece di essere sepolto, che sia analizzabile invece di essere vergognoso, che la sua lezione sia pubblicata invece di restare privata. Le professioni hanno accettato un prezzo che poche attività umane consentono: esporre i propri fallimenti perché il collettivo ne tragga qualcosa. Ed è precisamente questo circuito, questa conversione dell'errore individuale in bene comune, che l'intelligenza artificiale sta cortocircuitando senza che nessuno lo abbia deciso.

Una professione non progredisce perché evita l'errore. Progredisce perché i suoi errori giovano a tutti.

La macchina che trasforma il fallimento

Guardiamo la macchina da vicino, perché la sua sofisticazione passa inosservata. Perché un errore diventi una lezione collettiva, bisogna anzitutto che sia rilevato, il che suppone uno sguardo esterno: il giudice d'appello, il pari della riunione clinica, l'investigatore dell'ufficio d'analisi. Bisogna poi che sia attribuibile, non per punire, ma per capire: un errore di cui si ignora la genesi non insegna nulla. Bisogna infine che sia pubblicato in una forma riutilizzabile: la sentenza commentata, il rapporto d'incidente, il caso di scuola. A ogni tappa, un'istituzione lavora, delle persone sono pagate, del tempo è dedicato a ciò che sembra improduttivo: esaminare ciò che è andato storto.

Questo lavoro improduttivo è in realtà l'investimento più redditizio che le professioni abbiano mai fatto. Ogni errore analizzato risparmia le sue ripetizioni, e le ripetizioni risparmiate si contano a migliaia. Una sentenza di principio evita decenni di contenziosi mal impostati; un rapporto d'incidente modifica la progettazione di tutti gli apparecchi successivi; un caso di morbilità cambia un protocollo mondiale. L'economia è spettacolare: il costo di un'analisi contro il costo di mille ripetizioni. È questa economia a giustificare il prezzo pagato, compreso il più doloroso, quello dell'esposizione pubblica del fallimento.

Il lavoro più redditizio delle professioni è quello che sembra il più improduttivo: esaminare ciò che è andato storto.

L'errore muto

Ecco ora che cosa accade con l'IA. Un collaboratore riceve un'analisi generata, vi individua un errore, lo corregge, e prosegue il proprio lavoro. Il gesto sembra anodino, è persino virtuoso: la supervisione ha funzionato. Ma seguite il tragitto di quell'errore. È stato rilevato da una sola persona, corretto in silenzio, e la sua correzione non è andata da nessuna parte. Nessun rapporto, nessun registro, nessuna pubblicazione. Eppure l'errore era ricco di insegnamento: diceva qualcosa del sistema, dei suoi angoli ciechi, delle condizioni in cui deraglia. Quel qualcosa è perduto. E domani, in mille altre organizzazioni, mille altri collaboratori incontreranno lo stesso errore e lo correggeranno nello stesso silenzio.

Il confronto con l'errore umano illumina la perdita. Quando un professionista sbaglia, il suo errore è idiosincratico: dipende dalla sua stanchezza, dalla sua formazione, dal suo bias particolare. La lezione collettiva è utile ma limitata. Quando un sistema usato da migliaia di organizzazioni sbaglia, il suo errore è correlato: lo stesso angolo cieco produce la stessa falla ovunque, nello stesso momento, nelle stesse condizioni. È esattamente il tipo di errore la cui analisi collettiva renderebbe di più, poiché ogni lezione varrebbe per tutti gli utilizzatori insieme. Ed è esattamente quello che non viene più analizzato: disperso in correzioni private, invisibile come motivo ricorrente, non esiste per nessuno come fenomeno.

Si aggiunge una perdita più discreta ancora. Quando l'editore del modello corregge un difetto, la correzione arriva per aggiornamento, senza autopsia. Il comportamento cambia, nessuno sa perché né che cosa fosse in causa. È l'esatto contrario della cultura professionale dell'errore: là dove l'aviazione pubblica ciò che ha fallito perché ognuno capisca, la correzione software cancella ciò che ha fallito perché nessuno se ne preoccupi. L'errore è riparato, la lezione è distrutta. Il sistema migliora, e la comunità che lo usa non impara nulla.

Ogni utilizzatore corregge in silenzio un errore che mille altri incontreranno. La correzione esiste ovunque; la lezione non esiste da nessuna parte.

Perché nessuno lo vede

Questa regressione è invisibile per una ragione che tiene alla sua stessa natura: la qualità sale mentre il circuito si rompe. I modelli sbagliano meno che mai, i deliverable sono migliori, gli indicatori rassicurano. Ma la sicurezza di una professione non si è mai fondata sulla rarità degli errori: si fonda su ciò che si fa di quelli che accadono. Un sistema che sbaglia poco ma i cui errori non insegnano nulla è più pericoloso, a termine, di un sistema che sbaglia di più ma la cui ogni colpa nutre il collettivo. Il primo accumula un debito d'ignoranza che non si vede; il secondo accumula un capitale di lezioni che non si vede nemmeno. Le due invisibilità si somigliano; le loro traiettorie divergono.

C'è infine un effetto di secondo ordine, il più lento e il più profondo. Le professioni non hanno soltanto accumulato lezioni: hanno formato lettori di errori. Il giurista che studia la giurisprudenza impara a ragionare sul fallimento altrui; il medico della riunione di morbilità impara a sezionare una decisione; l'investigatore impara a risalire una catena causale. Questa competenza, leggere l'errore, è un saper fare in sé, e si mantiene con l'esercizio. Se gli errori cessano di essere esposti e analizzati, non è soltanto lo stock di lezioni a impoverirsi: è la capacità stessa di trarne che si atrofizza, per mancanza di materia.

Per misurare la posta in gioco, basta immaginare il diritto senza la sua macchina. Supponete che ogni decisione giudiziaria sia resa in privato, notificata alle sole parti, mai pubblicata né commentata; che gli appelli correggano gli errori dei primi giudici senza che nessuno ne conosca il contenuto. Il diritto funzionerebbe ancora, pratica per pratica. Ma cesserebbe di essere un sistema che apprende: ogni tribunale rifarebbe gli errori degli altri, ogni avvocato difenderebbe senza precedenti, e l'esperienza accumulata della professione si ridurrebbe a ciò che ciascuno ha personalmente vissuto. È esattamente il regime in cui entra il lavoro assistito dall'IA: un regime di decisioni rese in privato, corrette in privato, e perdute per tutti.

Un sistema che sbaglia poco ma non insegna nulla è più pericoloso di un sistema che sbaglia e istruisce.

Ricostruire il circuito

La risposta non consiste evidentemente nel desiderare più errori, né nel rallentare la correzione. Consiste nel ricostruire, attorno al lavoro assistito, il circuito che le professioni avevano costruito attorno al lavoro umano: rilevare, registrare, analizzare, condividere. Concretamente, ciò significa che la correzione di una produzione assistita non dovrebbe mai essere un gesto puramente privato. Ciò che un revisore individua dovrebbe lasciare una traccia sfruttabile: quale errore, in quale contesto, su quale tipo di compito. Queste tracce, aggregate, restituirebbero al collettivo ciò che la dispersione gli ha tolto: la visione dei motivi ricorrenti, la rilevazione degli angoli ciechi, la materia di una giurisprudenza dell'uso.

È una scelta di progettazione prima di essere una scelta di organizzazione, ed è qui che il modo in cui i sistemi sono costruiti ridiventa decisivo. Uno strumento che tratta ogni sessione come un evento isolato disperde le lezioni per architettura; uno strato che iscrive ogni correzione in una memoria istituzionale le capitalizza per architettura. In MAX, è una delle ragioni per cui la memoria non è una funzionalità ma un fondamento: ciò che lo studio corregge deve arricchire ciò che lo studio sa, senza di che ogni rilettura è un lavoro perduto per tutti i successivi. Il circuito dell'errore non si ricostruirà per buona volontà; si ricostruirà là dove l'architettura lo rende possibile.

Le professioni hanno impiegato secoli per imparare che l'errore nascosto costa più caro dell'errore esposto. Su questa scoperta hanno costruito le loro istituzioni più preziose, quelle che trasformano il fallimento in patrimonio. Sarebbe paradossale che, nel momento in cui i loro strumenti diventano i più potenti della loro storia, lascino questo patrimonio smettere di crescere, non per decisione, ma per distrazione: perché gli errori nuovi, dispersi in milioni di sessioni, non appartenevano più a nessuno e non istruivano più nessuno. Il progresso di una professione non è mai stato la somma dei suoi successi. È sempre stato la somma dei suoi errori compresi.

Il progresso di una professione non è mai stato la somma dei suoi successi. È sempre stato la somma dei suoi errori compresi.