Le vocabulaire de l'IA

Inférence : que se passe-t-il entre votre question et la réponse ?

L'inférence est le moment où un modèle produit une réponse à partir de ce qu'on lui donne. C'est l'étape de l'exécution, à distinguer de l'entraînement, qui a eu lieu une fois pour toutes avant que vous n'utilisiez le système. Chaque inférence repart du même modèle et ne modifie rien.

Entraînement et inférence

L'entraînement est un processus long et coûteux, qui a produit le modèle. Il est terminé : le modèle que vous interrogez aujourd'hui est identique à celui d'hier, et il le restera jusqu'à ce que le laboratoire en publie une nouvelle version.

L'inférence est ce qui se passe à chaque fois que vous l'interrogez. Elle dure quelques secondes, elle consomme des ressources de calcul, et elle ne laisse aucune trace dans le modèle.

La conséquence que tout le monde constate sans la nommer

Le modèle n'apprend pas de vous. Ce que vous lui avez expliqué hier, il ne le sait pas aujourd'hui. Ce que vous avez corrigé ne sera pas corrigé la fois suivante.

C'est la source d'une frustration très répandue : on a l'impression de former un collaborateur qui recommencerait chaque matin à zéro. L'impression est exacte, et elle ne tient pas à un défaut de conception mais à la nature même de l'inférence.

Quand un système semble se souvenir, ce n'est jamais le modèle qui se souvient : c'est une couche autour de lui qui a conservé quelque chose et le lui redonne au moment de l'inférence suivante.

Ce que le mot recouvre côté fournisseur

Vous rencontrerez le terme dans deux contextes qui n'ont pas le même sens pour vous.

Dans une discussion technique, l'inférence désigne le calcul lui-même, et son coût : c'est ce qui est facturé, c'est ce qui prend quelques secondes, et c'est ce qui explique qu'une demande complexe soit plus lente qu'une demande simple.

Dans une discussion contractuelle, on parlera d'inférence pour désigner la phase où vos données sont transmises au moteur — par opposition à l'entraînement. Un engagement de non-utilisation pour l'entraînement ne dit donc rien de ce qui se passe pendant l'inférence : conservation, journalisation, accès des opérateurs sont des questions distinctes qu'il faut poser séparément.

Ce que ça ne résout pas

Le fait que l'inférence ne modifie pas le modèle ne garantit rien sur la confidentialité. Vos données peuvent être conservées, journalisées, relues par un opérateur ou utilisées pour un entraînement ultérieur, selon ce que prévoit le contrat — ce sont des questions distinctes de celle du fonctionnement technique.

Et le caractère figé du modèle ne le rend pas stable dans le temps. Le laboratoire peut le remplacer par une nouvelle version sans préavis, et le comportement change alors du jour au lendemain sur des tâches qui fonctionnaient.

Une précision sur le vocabulaire, puisque le mot apparaît dans les devis : « coût d'inférence » désigne le prix du calcul à chaque sollicitation, par opposition au coût d'entraînement, que vous ne payez jamais directement. C'est donc la seule des deux notions qui figure sur votre facture.

Pourquoi ça compte pour un juriste

Parce que cela explique pourquoi il faut refournir le contexte à chaque fois, et pourquoi ce coût ne s'amortit jamais. Chaque inférence part de zéro plus ce qu'on lui donne, et rien d'autre.

Cela permet aussi de poser la bonne question à un fournisseur qui promet que son système « apprend de vos usages » : qu'est-ce qui apprend exactement, puisque ce n'est pas le modèle ? La réponse décrit l'architecture réelle, ou révèle qu'il n'y en a pas.