Métier

L'erreur sans leçon

Les professions expertes ont un secret que personne ne formule : elles ne progressent pas parce qu'elles évitent l'erreur, mais parce que leurs erreurs profitent à tous. L'IA vient de casser ce mécanisme.

L'aviation n'est pas devenue l'activité la plus sûre du monde parce que les avions ont cessé de tomber. Elle l'est devenue parce que chaque accident a produit un rapport, chaque rapport une analyse, chaque analyse une règle, et chaque règle une génération d'accidents évités. La médecine a ses revues de morbidité et de mortalité, où les équipes dissèquent leurs propres échecs devant leurs pairs. Le droit a la plus ancienne de ces machines : la jurisprudence, qui n'est rien d'autre que le catalogue public des désaccords tranchés et des erreurs corrigées, offert à tous ceux qui plaideront ensuite. Partout, le même mécanisme : l'échec d'un seul devient la leçon de tous.

Ce mécanisme est si constitutif des professions qu'on ne le voit plus. Il repose pourtant sur des conditions précises, coûteuses, arrachées de haute lutte : que l'erreur soit visible au lieu d'être enfouie, qu'elle soit analysable au lieu d'être honteuse, que sa leçon soit publiée au lieu de rester privée. Les professions ont accepté un prix que peu d'activités humaines consentent : exposer leurs échecs pour que le collectif en tire quelque chose. Et c'est précisément ce circuit, cette conversion de l'erreur individuelle en bien commun, que l'intelligence artificielle est en train de court-circuiter sans que personne ne l'ait décidé.

Une profession ne progresse pas parce qu'elle évite l'erreur. Elle progresse parce que ses erreurs profitent à tous.

La machine à transformer l'échec

Regardons la machine de près, car sa sophistication passe inaperçue. Pour qu'une erreur devienne une leçon collective, il faut d'abord qu'elle soit détectée, ce qui suppose un regard extérieur : le juge d'appel, le pair de la conférence, l'enquêteur du bureau d'analyse. Il faut ensuite qu'elle soit attribuable, non pour punir, mais pour comprendre : une erreur dont on ignore la genèse n'enseigne rien. Il faut enfin qu'elle soit publiée dans une forme réutilisable : l'arrêt commenté, le rapport d'accident, le cas d'école. À chaque étape, une institution travaille, des gens sont payés, du temps est consacré à ce qui semble improductif : examiner ce qui a raté.

Ce travail improductif est en réalité l'investissement le plus rentable que les professions aient jamais fait. Chaque erreur analysée épargne ses répétitions, et les répétitions épargnées se comptent par milliers. Un arrêt de principe évite des décennies de contentieux mal engagés ; un rapport d'accident modifie la conception de tous les appareils suivants ; un cas de morbidité change un protocole mondial. L'économie est spectaculaire : le coût d'une analyse contre le coût de mille répétitions. C'est cette économie qui justifie le prix payé, y compris le plus douloureux, celui de l'exposition publique de l'échec.

Le travail le plus rentable des professions est celui qui semble le plus improductif : examiner ce qui a raté.

L'erreur muette

Voici maintenant ce qui se passe avec l'IA. Un collaborateur reçoit une analyse générée, y repère une erreur, la corrige, et poursuit son travail. Le geste paraît anodin, il est même vertueux : la supervision a fonctionné. Mais suivez le trajet de cette erreur. Elle a été détectée par une seule personne, corrigée en silence, et sa correction n'est allée nulle part. Pas de rapport, pas de registre, pas de publication. L'erreur était pourtant riche d'enseignement : elle disait quelque chose du système, de ses angles morts, des conditions dans lesquelles il déraille. Ce quelque chose est perdu. Et demain, dans mille autres organisations, mille autres collaborateurs rencontreront la même erreur et la corrigeront dans le même silence.

La comparaison avec l'erreur humaine éclaire la perte. Quand un professionnel se trompe, son erreur est idiosyncrasique : elle tient à sa fatigue, à sa formation, à son biais propre. La leçon collective est utile mais bornée. Quand un système utilisé par des milliers d'organisations se trompe, son erreur est corrélée : le même angle mort produit la même faille partout, au même moment, dans les mêmes conditions. C'est exactement le type d'erreur dont l'analyse collective rapporterait le plus, puisque chaque leçon vaudrait pour tous les utilisateurs à la fois. Et c'est exactement celle qui n'est plus analysée : dispersée en corrections privées, invisible en tant que motif, elle n'existe pour personne comme phénomène.

S'ajoute une perte plus discrète encore. Quand l'éditeur du modèle corrige un défaut, la correction arrive par mise à jour, sans autopsie. Le comportement change, personne ne sait pourquoi ni ce qui était en cause. C'est l'inverse exact de la culture professionnelle de l'erreur : là où l'aviation publie ce qui a failli pour que chacun comprenne, la correction logicielle efface ce qui a failli pour que personne ne s'en inquiète. L'erreur est réparée, la leçon est détruite. Le système s'améliore, et la communauté qui l'utilise n'apprend rien.

Chaque utilisateur corrige en silence une erreur que mille autres rencontreront. La correction existe partout ; la leçon n'existe nulle part.

Pourquoi personne ne le voit

Cette régression est invisible pour une raison qui tient à sa nature même : la qualité monte pendant que la boucle se casse. Les modèles font moins d'erreurs que jamais, les livrables sont meilleurs, les indicateurs rassurent. Mais la sûreté d'une profession n'a jamais reposé sur la rareté des erreurs : elle repose sur ce qu'on fait de celles qui surviennent. Un système qui se trompe peu mais dont les erreurs n'enseignent rien est plus dangereux, à terme, qu'un système qui se trompe davantage mais dont chaque faute nourrit le collectif. Le premier accumule une dette d'ignorance qui ne se voit pas ; le second accumule un capital de leçons qui ne se voit pas non plus. Les deux invisibilités se ressemblent ; leurs trajectoires divergent.

Il y a enfin un effet de second ordre, le plus lent et le plus profond. Les professions n'ont pas seulement accumulé des leçons : elles ont formé des lecteurs d'erreurs. Le juriste qui étudie la jurisprudence apprend à raisonner sur l'échec des autres ; le médecin de la conférence de morbidité apprend à disséquer une décision ; l'enquêteur apprend à remonter une chaîne causale. Cette compétence, lire l'erreur, est un savoir-faire en soi, et il s'entretient par l'exercice. Si les erreurs cessent d'être exposées et analysées, ce n'est pas seulement le stock de leçons qui s'appauvrit : c'est la capacité même d'en tirer qui s'atrophie, faute de matière.

Pour mesurer ce qui se joue, il suffit d'imaginer le droit sans sa machine. Supposez que chaque décision de justice soit rendue en privé, notifiée aux seules parties, jamais publiée ni commentée ; que les appels corrigent les erreurs des premiers juges sans que nul n'en connaisse la teneur. Le droit fonctionnerait encore, dossier par dossier. Mais il cesserait d'être un système apprenant : chaque tribunal referait les erreurs des autres, chaque avocat plaiderait sans précédent, et l'expérience accumulée de la profession se réduirait à ce que chacun a personnellement vécu. C'est très exactement le régime dans lequel entre le travail assisté par l'IA : un régime de décisions rendues en privé, corrigées en privé, et perdues pour tous.

Un système qui se trompe peu mais n'enseigne rien est plus dangereux qu'un système qui se trompe et instruit.

Reconstruire la boucle

La réponse ne consiste évidemment pas à souhaiter davantage d'erreurs, ni à ralentir la correction. Elle consiste à reconstruire, autour du travail assisté, le circuit que les professions avaient construit autour du travail humain : détecter, consigner, analyser, partager. Concrètement, cela signifie que la correction d'une production assistée ne devrait jamais être un geste purement privé. Ce qu'un relecteur repère devrait laisser une trace exploitable : quelle erreur, dans quel contexte, sur quel type de tâche. Ces traces, agrégées, redonneraient au collectif ce que la dispersion lui a pris : la vision des motifs, la détection des angles morts récurrents, la matière d'une jurisprudence de l'usage.

C'est un choix de conception avant d'être un choix d'organisation, et c'est ici que la manière dont les systèmes sont construits redevient décisive. Un outil qui traite chaque session comme un événement isolé disperse les leçons par architecture ; une couche qui inscrit chaque correction dans une mémoire institutionnelle les capitalise par architecture. Chez MAX, c'est l'une des raisons pour lesquelles la mémoire n'est pas une fonctionnalité mais un fondement : ce que le cabinet corrige doit enrichir ce que le cabinet sait, faute de quoi chaque relecture est un travail perdu pour tous les suivants. La boucle de l'erreur ne se reconstruira pas par bonne volonté ; elle se reconstruira là où l'architecture la rend possible.

Les professions ont mis des siècles à apprendre que l'erreur cachée coûte plus cher que l'erreur exposée. Elles ont bâti sur cette découverte leurs institutions les plus précieuses, celles qui transforment l'échec en patrimoine. Il serait paradoxal qu'au moment où leurs outils deviennent les plus puissants de leur histoire, elles laissent ce patrimoine cesser de croître, non par décision, mais par distraction : parce que les erreurs nouvelles, dispersées dans des millions de sessions, n'appartenaient plus à personne et n'instruisaient plus personne. Le progrès d'une profession n'a jamais été la somme de ses réussites. Il a toujours été la somme de ses erreurs comprises.

Le progrès d'une profession n'a jamais été la somme de ses réussites. Il a toujours été la somme de ses erreurs comprises.