El almacenamiento de contexto en caché

En un flujo de trabajo de IA típico, es posible que pases los mismos tokens de entrada una y otra vez a un modelo. La API de Gemini ofrece almacenamiento en caché implícito para optimizar el rendimiento y los costos.

Almacenamiento en caché implícito

El almacenamiento en caché implícito está habilitado de forma predeterminada para todos los modelos de Gemini 2.5 y versiones posteriores. Es compatible con los modos de conversación con estado (con previous_interaction_id) y sin estado. Pasamos automáticamente los ahorros de costos si tu solicitud alcanza las cachés. No es necesario que configures nada para activarlo. En la siguiente tabla, se muestra el recuento mínimo de tokens de entrada para cada modelo:

Modelo Límite mínimo de tokens
Gemini 4 Argon 4,096
Gemini 3.8 Flash 4,096
Gemini 3.6 Flash 4,096
Versión preliminar de Gemini 3.1 Pro 4,096
Gemini 2.5 Flash 2,048
Gemini 2.5 Pro 2,048

Para aumentar la probabilidad de un acierto de caché implícito, haz lo siguiente:

  • Intenta colocar contenido grande y común al comienzo de tu instrucción.
  • Intenta enviar solicitudes con un prefijo similar en un período breve.

Puedes ver la cantidad de tokens que fueron aciertos de caché en el campo usage.total_cached_tokens (Python y JavaScript) del objeto de respuesta.