Entender e contar tokens


O Gemini e outros modelos de IA generativa processam entradas e saídas com granularidade chamado de token.

Este guia explica como receber a janelas de contexto de modelos específicos, bem como count tokens para casos de uso como entrada de texto, chat, multimodal entradas e instruções e ferramentas do sistema.

Sobre tokens

Os tokens podem conter caracteres simples, como z, ou palavras inteiras, como cat. Palavras longas são divididos em vários tokens. O conjunto de todos os tokens usados pelo modelo chamado de vocabulário, e o processo de dividir o texto em tokens é chamado tokenização.

Para modelos do Gemini, um token equivale a cerca de quatro caracteres. 100 tokens equivalem a cerca de 60-80 palavras em inglês.

Quando o faturamento está ativado, o custo de uma chamada para a API Gemini é de determinada em parte pelo número de tokens de entrada e saída. Portanto, saber de contagem de tokens pode ser útil.