Le vocabulaire de l'IA

Orchestration : qui décide de quoi ?

L'orchestration désigne la couche qui décide de l'ordre des opérations : quel modèle interroger, avec quelles informations, dans quel ordre, et que faire du résultat de chaque étape. Elle ne produit aucun texte elle-même. Elle organise le travail de ceux qui en produisent.

D'où vient le terme

Il vient de l'informatique distribuée, où l'orchestrateur coordonne des composants qui ne se connaissent pas entre eux. L'image musicale est exacte : les instruments jouent, le chef ne joue pas, et pourtant le résultat dépend largement de lui.

Appliqué à l'intelligence artificielle, l'orchestrateur est ce qui se trouve entre votre demande et le modèle. Il décide de ce que le modèle voit, du moment où il l'appelle, et de ce qu'il fait de sa réponse.

Ce qu'il décide, concrètement

Sur une tâche un peu complexe, une dizaine de décisions sont prises avant que le modèle produise quoi que ce soit. Faut-il découper la demande en plusieurs étapes ? Quels documents joindre, sachant qu'on ne peut pas tout joindre ? Faut-il chercher une source avant de répondre ? Le résultat obtenu doit-il être vérifié par une seconde passe ?

Aucune de ces décisions n'appartient au modèle. Elles sont prises par la couche qui l'entoure, et elles déterminent une grande part de la qualité finale.

Une décision mérite d'être isolée parce qu'elle est invisible et déterminante : le choix de ce qu'on ne joint pas. Aucun système ne peut transmettre l'intégralité d'un dossier au modèle ; il faut donc sélectionner, et ce tri est effectué par l'orchestration selon des règles que l'utilisateur ne voit jamais.

Pourquoi c'est le sujet le moins visible

Parce qu'un utilisateur ne voit jamais l'orchestration. Il voit une demande et un résultat ; tout ce qui se passe entre les deux lui est invisible, et il attribue naturellement la qualité du résultat au modèle.

C'est une erreur d'attribution comparable à celle qui consisterait à juger un orchestre sur la qualité des instruments. À modèle égal, deux orchestrations différentes produisent des résultats qui n'ont pas grand-chose à voir.

Un signe permet de mesurer la maturité d'une orchestration : sait-elle s'arrêter ? Un dispositif qui répond toujours, quelle que soit la qualité de ce qu'il a trouvé, n'orchestre pas grand-chose. Un dispositif qui constate qu'il n'a pas de quoi répondre et le dit a pris une décision.

Ce que ça ne résout pas

Une bonne orchestration ne compense pas l'absence de contexte. Elle peut décider intelligemment de ce qu'il faut joindre à la demande ; encore faut-il que quelque chose existe à joindre.

Elle ne supprime pas non plus les erreurs du modèle. Elle peut les rendre plus détectables, en prévoyant une passe de vérification ou en imposant que chaque affirmation soit rattachée à une source, mais elle ne les empêche pas de se produire.

Et elle ajoute une complexité qui a un coût : chaque étape supplémentaire allonge le temps de réponse et multiplie les points où quelque chose peut mal se passer.

Cette invisibilité explique aussi pourquoi deux organisations équipées du même modèle obtiennent des résultats très différents, et pourquoi comparer des outils sur le nom de leur moteur ne renseigne à peu près sur rien.

Pourquoi ça compte pour un juriste

Parce que c'est là que se prennent les décisions qui vous concernent, et qu'elles sont prises par le fournisseur sans que vous les voyiez. Décider qu'une réponse sera produite sans vérifier ses sources est une décision d'orchestration, pas une limite du modèle.

La question utile n'est donc pas quel modèle est utilisé, qui change tous les six mois, mais ce que le système fait avant et après l'avoir interrogé.