Le vocabulaire de l'IA

Déterminisme : pourquoi la même question donne-t-elle deux réponses ?

Un système déterministe produit toujours le même résultat à partir des mêmes données. Les modèles de langage ne le sont pas : ils sélectionnent leurs mots parmi plusieurs possibilités probables, ce qui produit des variations d'un essai à l'autre. Cette propriété n'est pas un défaut de fabrication, c'est le fonctionnement normal.

D'où vient la variation

À chaque étape, le modèle dispose d'un éventail de suites possibles avec leurs probabilités. Il en choisit une, et ce choix comporte une part d'aléa réglable. Deux exécutions empruntent donc deux chemins légèrement différents, qui divergent ensuite.

S'y ajoutent des causes moins connues. L'infrastructure de calcul introduit de minuscules écarts d'arrondi selon les machines. Et le fournisseur peut remplacer la version du modèle sans préavis, ce qui modifie le comportement du jour au lendemain.

Ce que cela implique concrètement

Deux collaborateurs qui posent la même question obtiennent deux réponses différentes. Chacun croit avoir mal formulé sa demande, et aucun des deux n'a tort ni raison.

Un test concluant hier peut échouer aujourd'hui sans que rien n'ait changé de votre côté. Un résultat obtenu lors d'une démonstration ne se reproduira pas nécessairement le lendemain.

Et surtout, une vérification ponctuelle ne garantit rien pour les usages suivants. Contrôler un livrable établit la qualité de ce livrable, pas celle du système.

Un exemple qui déroute les équipes

Un cabinet valide un usage après trois essais concluants sur des clauses de non-concurrence. Trois semaines plus tard, un collaborateur obtient un résultat nettement moins bon sur une clause comparable, et signale que l'outil s'est dégradé.

Rien ne s'est dégradé. Les trois premiers essais avaient emprunté des chemins favorables ; le quatrième en a emprunté un autre, statistiquement normal. Trois essais ne mesurent pas un système non déterministe, ils en donnent trois échantillons.

Ce que ça ne résout pas

Rendre un système strictement déterministe ne le rend pas exact. Il produira l'erreur la plus probable avec une régularité parfaite, ce qui est plus facile à détecter et pas moins faux.

Et le déterminisme complet reste hors de portée en pratique : même à réglage figé, les variations d'infrastructure et les changements de version subsistent.

Une conséquence pratique en découle pour l'évaluation d'un outil : un essai isolé, favorable ou défavorable, ne renseigne pas. Il faut répéter la même tâche plusieurs fois pour observer l'amplitude des écarts, ce que presque personne ne fait lors d'une démonstration.

Ce qu'on peut exiger à la place

Non pas l'identité des réponses, qui n'est pas atteignable, mais la stabilité de ce qui compte. Deux exécutions peuvent formuler différemment sans diverger sur le fond : mêmes sources retenues, mêmes points signalés, même conclusion.

La question à poser au fournisseur est donc précise : sur une même tâche répétée, qu'est-ce qui est garanti stable, et qu'est-ce qui ne l'est pas ? Un fournisseur sérieux distingue les deux ; un fournisseur approximatif répond que le système est fiable.

C'est aussi ce qui justifie qu'un régime de vérification porte sur des catégories de livrables et non sur des cas d'usage validés une fois pour toutes.

Pourquoi ça compte pour un juriste

Parce que le droit fonctionne sur la reproductibilité : une même situation appelle une même réponse, et un cabinet qui traiterait deux dossiers identiques différemment aurait un problème.

Un outil non déterministe introduit donc une variabilité que votre organisation doit absorber, par des règles de vérification plutôt que par la confiance dans la constance de l'outil.