O Gemini e outros modelos de IA generativa processam a entrada e a saída com uma granularidade chamada token.
Sobre os tokens
Os tokens podem ser caracteres únicos, como z, ou palavras inteiras, como cat. Palavras longas
são divididas em vários tokens. O conjunto de todos os tokens usados pelo modelo é
chamado de vocabulário, e o processo de dividir o texto em tokens é chamado de
tokenização.
Para modelos do Gemini, um token equivale a cerca de quatro caracteres. 100 tokens equivalem a cerca de 60 a 80 palavras em inglês.
Quando o faturamento está ativado, o custo de uma chamada para a API Gemini é determinado em parte pelo número de tokens de entrada e saída. Portanto, saber como contar tokens pode ser útil.