O armazenamento em cache de contexto

Em um fluxo de trabalho de IA típico, é possível transmitir os mesmos tokens de entrada repetidamente para um modelo. A API Gemini oferece armazenamento em cache implícito para otimizar o desempenho e os custos.

Armazenamento em cache implícito

O armazenamento em cache implícito é ativado por padrão para todos os modelos do Gemini 2.5 e mais recentes. Ele é compatível com os modos de conversa com estado (usando previous_interaction_id) e sem estado. Se a solicitação atingir caches, repassamos automaticamente a economia de custos. Não é preciso configurar nada para ativá-lo. A tabela a seguir lista a contagem mínima de tokens de entrada para cada modelo:

Modelo Limite mínimo de tokens
Gemini 4 Argon 4.096
Gemini 3.8 Flash 4.096
Gemini 3.6 Flash 4.096
Pré-lançamento do Gemini 3.1 Pro 4.096
Gemini 2.5 Flash 2.048
Gemini 2.5 Pro 2.048

Para aumentar a chance de uma ocorrência em cache implícita:

  • Tente colocar conteúdos grandes e comuns no início do comando.
  • Tente enviar solicitações com prefixo semelhante em um curto período

É possível ver o número de tokens que foram ocorrências em cache no campo usage.total_cached_tokens (Python e JavaScript) do objeto de resposta.