Comprender y contar tokens


Gemini y otros modelos de IA generativa procesan la entrada y la salida con una granularidad llamada token.

Acerca de los tokens

Los tokens pueden ser caracteres individuales, como z, o palabras completas, como cat. Las palabras largas se dividen en varios tokens. El conjunto de todos los tokens que usa el modelo se denomina vocabulario, y el proceso de dividir el texto en tokens se denomina tokenización.

En el caso de los modelos de Gemini, un token equivale a alrededor de 4 caracteres. 100 tokens equivalen a entre 60 y 80 palabras en inglés.

Cuando la facturación está habilitada, el costo de una llamada a la API de Gemini se determina, en parte, por la cantidad de tokens de entrada y salida, por lo que saber cómo contarlos puede ser útil.