Comprendre et compter les jetons


Gemini et d'autres modèles d'IA générative traitent les entrées et les sorties de manière précise appelé jeton.

Ce guide vous explique comment récupérer fenêtres de contexte de modèles spécifiques, ainsi que compter les jetons pour les cas d'utilisation tels que la saisie de texte, le chat, le multimode la saisie, et les instructions et les outils système.

À propos des jetons

Les jetons peuvent être des caractères simples comme z ou des mots entiers comme cat. Mots longs sont divisés en plusieurs jetons. L'ensemble de tous les jetons utilisés par le modèle le vocabulaire, et le processus de division du texte en jetons s'appelle la tokenisation.

Pour les modèles Gemini, un jeton équivaut à environ quatre caractères. 100 jetons correspondent à environ 60-80 mots anglais.

Lorsque la facturation est activée, le coût d'un appel à l'API Gemini est de déterminée en partie par le nombre de jetons d'entrée et de sortie, donc savoir comment les jetons de comptage peuvent être utiles.