Memorizzazione nella cache del contesto

In un tipico workflow di AI, potresti passare ripetutamente gli stessi token di input a un modello. L'API Gemini offre la memorizzazione nella cache implicita per ottimizzare le prestazioni e i costi.

Memorizzazione nella cache implicita

La memorizzazione nella cache implicita è abilitata per impostazione predefinita per tutti i modelli Gemini 2.5 e versioni successive. È supportato sia per le modalità conversazionali stateful (utilizzando previous_interaction_id) sia per quelle stateless. Se la tua richiesta raggiunge le cache, ti trasferiamo automaticamente i risparmi sui costi. Non è necessario configurare nulla per attivarlo. La tabella seguente elenca il numero minimo di token di input per ogni modello:

Modello Limite minimo di token
Gemini 4 Argon 4096
Gemini 3.8 Flash 4096
Gemini 3.6 Flash 4096
Gemini 3.1 Pro (anteprima) 4096
Gemini 2.5 Flash 2048
Gemini 2.5 Pro 2048

Per aumentare le probabilità di un successo della cache implicito:

  • Prova a inserire contenuti di grandi dimensioni e comuni all'inizio del prompt
  • Prova a inviare richieste con un prefisso simile in un breve periodo di tempo

Puoi visualizzare il numero di token che hanno generato successi della cache nel campo usage.total_cached_tokens (Python e JavaScript) dell'oggetto di risposta.