Produit

Pouvez-vous auditer ce que vous avez déployé ?

Sur six mois, quels livrables ont été produits avec l’IA, comment, sous quel contrôle ? Presque personne ne peut répondre.

Posez la question à n’importe quelle direction juridique équipée en IA depuis dix-huit mois : pour les six derniers mois, quels livrables ont été produits avec l’aide de l’IA, par quel outil, à partir de quelles sources, et avec quelles validations ? Dans la quasi-totalité des cas, la réponse est non. Pas par mauvaise volonté, pas par manque de sérieux. Par construction. La question paraît anodine, presque administrative, et pourtant elle touche un point que la plupart des organisations équipées ne peuvent pas adresser.

Ce qui rend cette question si révélatrice, c’est qu’elle ne porte pas sur un dossier, mais sur l’ensemble. On ne demande pas « peux-tu défendre cet avis-là », question à laquelle un praticien attentif peut souvent répondre pour un dossier donné. On demande « peux-tu rendre compte de tout ce que ton organisation a produit avec l’IA », ce qui suppose une vue consolidée que presque aucun dispositif actuel ne fournit. La question saute de l’échelle du dossier à l’échelle de l’institution, et c’est à cette échelle que le déficit apparaît.

Les outils d’IA juridique actuels n’ont pas été conçus pour rendre des comptes à l’échelle de l’organisation. Ils ont été conçus pour répondre à des utilisateurs. Ils tracent peu, dans des formats qui leur sont propres, dans des silos qui ne communiquent pas et n’agrègent rien au niveau de l’organisation. Chaque outil sait, au mieux, ce qu’il a fait lui-même ; aucun ne sait ce que l’ensemble a produit, parce que aucun n’a été conçu pour voir au-delà de son propre périmètre.

Un outil conçu pour répondre à un utilisateur n’a aucune raison de savoir rendre des comptes à une organisation.

Le moment où la question se pose vraiment

Cette incapacité reste théorique jusqu’au jour où un responsable a besoin, concrètement, d’une vue d’ensemble. Ce jour arrive toujours, et sous des formes variées : préparer un audit interne, répondre à un régulateur, mesurer l’usage réel pour arbitrer un renouvellement, vérifier la conformité contractuelle d’un déploiement, instruire un incident. Dans chacun de ces cas, la question n’est plus « cet outil est-il bon », mais « que pouvons-nous dire, collectivement, de ce que nous avons produit ». Et c’est là que l’information se révèle dispersée, non standardisée, partiellement perdue.

Ce déficit est en train de devenir le sujet numéro un dans les comités IA sérieux. Pas la performance des modèles, pas le prix des abonnements : la capacité d’audit de ce qui a été déployé. Le renversement de critère est déjà à l’œuvre. Il y a un an, un appel d’offres d’IA juridique commençait par les capacités du modèle. Aujourd’hui, les meilleurs cahiers des charges commencent par une autre série de questions : pouvez-vous tracer, attribuer, présenter, consolider ? Un outil brillant mais opaque échoue désormais à l’étape qui, hier, venait en dernier.

Il faut mesurer l’ampleur de ce renversement, parce qu’il change la définition de ce qu’est un bon outil. Hier, un bon outil était celui qui produisait la meilleure réponse ; l’auditabilité, si elle était évoquée, venait à la fin, dans les annexes, comme une case à cocher. Aujourd’hui, dans les organisations lucides, elle vient au début, comme un critère d’élimination : un outil qui ne sait pas rendre des comptes à l’échelle de l’organisation est écarté avant même qu’on évalue sa performance. L’ordre des critères s’est inversé, et avec lui la hiérarchie des fournisseurs.

Le premier critère d’élimination de ce marché ne sera pas la qualité des modèles. Ce sera l’auditabilité.

Consolider, pas seulement enregistrer

On objectera que les outils produisent des journaux d’activité, et qu’il suffirait de les rassembler. Mais rassembler des enregistrements techniques ne produit pas une vue d’organisation, pour une raison de nature. Ce qu’un responsable doit pouvoir présenter, ce n’est pas une liste d’événements machine, c’est une réponse à des questions d’organisation : sur quelles matières l’IA a-t-elle été employée, selon quelles méthodes, avec quelles validations, et cette réponse doit être consolidée à l’échelle de toute l’institution, pas dispersée outil par outil. Empiler des enregistrements ne produit pas cette vue consolidée, de la même manière qu’empiler des relevés ne produit pas une comptabilité.

La différence tient à ce qu’une vue d’organisation exige une consolidation que les outils, par construction, ne fournissent pas. Chaque outil enregistre ce qui le concerne, dans son format, sur son périmètre ; personne n’agrège ces fragments en une image cohérente de ce que l’organisation a produit. Or c’est précisément cette image cohérente que réclame un audit, un régulateur, un comité. La consolidation n’est pas la somme des enregistrements ; c’est un travail d’agrégation, de standardisation, de mise en cohérence qu’aucun outil isolé n’a de raison de faire pour les autres.

Cette demande de consolidation n’est pas un caprice de conformité, c’est une exigence opérationnelle. Une organisation qui ne peut pas rendre compte, globalement, de son usage de l’IA ne peut pas l’inscrire durablement dans ses processus, ni la défendre face à un client, un confrère ou un régulateur. La réponse n’est pas dans les outils, dont aucun ne peut consolider ce que font ses voisins, mais dans une couche d’orchestration au-dessus de la pile, qui rend l’usage observable et consolidable à l’échelle de l’organisation. C’est précisément la fonction de MAX comme Legal Semantic Layer : donner à l’institution la vue d’ensemble qu’aucun outil, seul, ne peut produire.

Des enregistrements dispersés ne s’additionnent pas en vue d’organisation, comme des relevés ne s’additionnent pas en comptabilité.

Pourquoi aucun outil ne peut auditer les autres

Il faut expliquer pourquoi la solution ne peut pas venir des outils eux-mêmes, car c’est ce qui rend le problème structurel. Un outil ne peut rendre compte que de ce qu’il a fait ; il n’a aucune visibilité sur ce que font les autres outils de la pile, et aucune raison d’en avoir. Demander à chaque outil de s’auditer lui-même produit autant de rapports partiels qu’il y a d’outils, dans autant de formats, sans que rien ne les relie. On obtient des fragments, jamais l’image d’ensemble, parce que l’image d’ensemble est précisément ce qu’aucun outil ne peut voir depuis sa position.

Cette impossibilité n’est pas un défaut passager que les fournisseurs corrigeront. Elle tient à la position de chaque outil dans la pile : il est un participant, pas un observateur. Or auditer suppose de se placer au-dessus de ce qu’on observe, dans une position qui embrasse l’ensemble. Un outil qui fait partie de la pile ne peut pas occuper cette position, par définition ; il faudrait pour cela une instance située au-dessus des outils, qui les voie tous sans être l’un d’eux. L’auditabilité à l’échelle n’est donc pas une fonctionnalité qu’un outil pourrait acquérir, c’est une propriété d’une couche qui les surplombe.

C’est la raison pour laquelle l’auditabilité est, par nature, une affaire de couche et non d’outil. Elle exige un point de vue que seul un dispositif placé au-dessus de la pile peut occuper : celui qui voit passer toutes les interactions, quel que soit l’outil qui les a produites, et qui les enregistre dans un format commun, requêtable, consolidé. Sans cette couche, chaque outil reste aveugle aux autres, et l’organisation reste aveugle à l’ensemble. Avec elle, l’usage redevient observable comme un tout, ce qui est la condition même de l’audit.

La frontière entre usage personnel et usage institutionnel

C’est pourquoi l’auditabilité n’est pas une fonctionnalité parmi d’autres, mais une condition d’existence en organisation. Un outil qu’on ne peut pas auditer à l’échelle peut être utilisé par un individu pour son propre compte ; il ne peut pas être adopté par une institution qui doit répondre de ce qu’elle produit. La frontière entre l’usage personnel et l’usage institutionnel de l’IA passe exactement là, sur cette capacité à rendre des comptes collectivement. Un individu se doit des comptes à lui-même ; une institution en doit à des tiers, et cette différence change tout ce qu’on attend de l’outil.

À mesure que ce critère s’impose, il redessine la hiérarchie des fournisseurs. Des outils brillants sur le plan de la génération, mais incapables de rendre des comptes à l’échelle, vont se retrouver relégués au rang d’accessoires personnels, tandis que des solutions moins spectaculaires mais auditables deviendront le socle des déploiements sérieux. Le marché ne récompensera plus la performance seule ; il récompensera la performance gouvernée, celle dont une organisation peut rendre compte devant qui de droit.

Ce déplacement va départager les organisations autant que les fournisseurs. Celles qui auront traité l’auditabilité comme un détail à régler plus tard se retrouveront, le jour où la question se pose, incapables d’y répondre, avec des années de production dont elles ne peuvent rendre compte. Celles qui l’auront traitée comme une condition d’existence auront, dès le départ, posé la couche qui rend leur usage de l’IA consolidable, et pourront répondre, calmement, à la question qui met les autres en difficulté. L’auditabilité n’est pas ce qu’on ajoute à la fin ; c’est ce sans quoi le reste ne tient pas en organisation.

Une IA qu’on ne peut pas auditer à l’échelle est, en pratique, une IA qu’une organisation ne peut pas vraiment déployer.