O Gemini e outros modelos de IA generativa processam entradas e saídas com granularidade chamado de token.
Este guia explica como receber a janelas de contexto de modelos específicos, bem como count tokens para casos de uso como entrada de texto, chat, multimodal entradas e instruções e ferramentas do sistema.
Sobre tokens
Os tokens podem conter caracteres simples, como z, ou palavras inteiras, como cat. Palavras longas
são divididos em vários tokens. O conjunto de todos os tokens usados pelo modelo
chamado de vocabulário, e o processo de dividir o texto em tokens é chamado
tokenização.
Para modelos do Gemini, um token equivale a cerca de quatro caracteres. 100 tokens equivalem a cerca de 60-80 palavras em inglês.
Quando o faturamento está ativado, o custo de uma chamada para a API Gemini é de determinada em parte pelo número de tokens de entrada e saída. Portanto, saber de contagem de tokens pode ser útil.