Gemini y otros modelos de IA generativa procesan entradas y salidas con un nivel de detalle que se denomina token.
En esta guía, se explica cómo obtener el ventanas de contexto de modelos específicos, además de cómo count tokens para casos de uso como entrada de texto, chat, multimodal del sistema de texto, las instrucciones y herramientas del sistema.
Información acerca de los tokens
Los tokens pueden ser caracteres individuales, como z, o palabras completas, como cat. Palabras largas
se dividen en varios tokens. El conjunto de todos los tokens que usa el modelo es
denominado vocabulario, y el proceso de dividir texto en tokens se denomina
asignación de token.
En los modelos de Gemini, un token equivale a unos 4 caracteres. 100 tokens equivalen a entre 60 y 80 palabras en inglés.
Cuando la facturación está habilitada, el costo de una llamada a la API de Gemini es el siguiente: determinada en parte por la cantidad de tokens de entrada y salida, por lo que saber cómo los tokens de count pueden ser útiles.