Jeton
Un jeton est le petit morceau de texte qu'un modèle de langage lit et écrit réellement — souvent un mot court entier, une partie d'un mot plus long ou un signe de ponctuation. Les modèles ont des limites comptées en jetons, et beaucoup de services d'IA facturent au jeton.
En une ligne, pour un jeune de 12 ans
Les jetons sont les pièces de casse-tête en lesquelles une IA découpe les mots avant de les lire.
Un exemple
« Incroyablement » pourrait être découpé en « incroy », « able » et « ment ». En anglais, 1 000 jetons font environ 750 mots; le français en demande généralement un peu plus pour le même texte.
Pourquoi c'est important pour les gens
Comme les prix et les limites se comptent en jetons, les langues qui en exigent davantage peuvent coûter plus cher à servir — une des raisons pour lesquelles le français et d'autres langues sont parfois traités en parents pauvres.