Le vocabulaire de l'IA

Token : pourquoi votre facture se compte-t-elle en morceaux de mots ?

Un token est l'unité que les modèles manipulent : un fragment de mot, généralement 3–4 caractères. Les systèmes ne lisent pas des mots mais ces fragments, et la facturation suit cette découpe. C'est pourquoi le coût d'un traitement se calcule en tokens et non en pages.

Pourquoi découper les mots

Parce qu'aucun vocabulaire ne peut contenir tous les mots existants, à plus forte raison dans plusieurs langues et avec le vocabulaire technique de chaque métier. En découpant en fragments récurrents, un modèle peut composer n'importe quel mot, y compris ceux qu'il n'a jamais rencontrés.

Un mot courant comme « contrat » forme un seul token. Un terme rare ou une référence de jurisprudence en forme plusieurs, parce que ses fragments sont moins fréquents.

Le mot lui-même n'a pas d'équivalent français consacré. On le rencontre parfois traduit par « jeton », ce qui n'aide guère : la traduction est exacte et ne dit rien de plus que l'original.

Ce que ça change pour un juriste

Le français consomme davantage que l'anglais, d'environ 20–30% à contenu égal. Les modèles ayant été entraînés sur des corpus majoritairement anglophones, leurs fragments sont optimisés pour cette langue. Un même contrat coûte donc plus cher à traiter en français.

Le vocabulaire juridique aggrave cet écart. Les termes de procédure, les références normatives, les numéros de décision se découpent mal et consomment plusieurs tokens chacun.

En ordre de grandeur, une page de texte juridique dense représente 600–800 tokens en français. Un contrat de 80 pages en représente donc plusieurs dizaines de milliers, et il faut compter à la fois ce qui entre et ce qui sort.

Où la facture surprend

Deux mécanismes expliquent les écarts entre l'estimation et la facture réelle.

Le premier est que l'historique d'un échange est renvoyé à chaque tour. Une conversation de 20 questions ne coûte pas 20 fois une question : chaque nouvelle demande transporte tout ce qui précède, et le coût croît plus vite que le nombre d'échanges.

Le second est que les documents joints comptent autant que ce que vous écrivez. Soumettre un contrat de 80 pages pour poser une question de 3 lignes coûte le prix des 80 pages.

Ce que ça ne résout pas

Le compte de tokens ne dit rien de la qualité du travail. Un système qui consomme peu peut simplement avoir tronqué ce qu'on lui a donné, et un système qui consomme beaucoup peut le faire pour de mauvaises raisons — en renvoyant à chaque fois l'intégralité d'un historique dont il n'a pas besoin.

Et ce n'est pas un indicateur d'efficacité comparable d'un fournisseur à l'autre : chacun découpe selon son propre vocabulaire, si bien que le même texte ne produit pas le même nombre de tokens partout.

Il faut ajouter que la découpe évolue avec les versions des modèles. Un même texte peut représenter un nombre de tokens différent après une mise à jour, sans que rien n'ait changé de votre côté.

Pourquoi ça compte pour un juriste

Parce que c'est l'unité dans laquelle votre facture est libellée, et qu'elle n'a aucun rapport avec la manière dont vous mesurez votre propre travail. Un devis exprimé en tokens ne se compare ni à un forfait par utilisateur, ni à un tarif par dossier.

Les deux questions utiles sont donc : combien de tokens représente une tâche typique chez nous, et que se passe-t-il en cas de dépassement — facturation supplémentaire, ralentissement, ou blocage ?