Comprendre et compter les jetons


Gemini et d'autres modèles d'IA générative traitent les entrées et les sorties avec un niveau de précision appelé jeton.

Ce guide explique comment obtenir les fenêtres de contexte de modèles spécifiques, ainsi que comment compter les jetons pour des cas d'utilisation tels que la saisie de texte, le chat, la saisie multimodale, ainsi que les instructions et outils système.

À propos des jetons

Les jetons peuvent être composés d'un seul caractère comme z ou de mots entiers comme cat. Les mots longs sont divisés en plusieurs jetons. L'ensemble de tous les jetons utilisés par le modèle est appelé "vocabulaire", et le processus de division du texte en jetons est appelé tokenisation.

Pour les modèles Gemini, un jeton équivaut à environ quatre caractères. 100 jetons correspondent à environ 60-80 mots en anglais.

Lorsque la facturation est activée, le coût d'un appel à l'API Gemini est déterminé en partie par le nombre de jetons d'entrée et de sortie. Il peut donc être utile de savoir comment compter les jetons.