Context caching

Dalam alur kerja AI biasa, Anda mungkin meneruskan token input yang sama berulang kali ke model. Gemini API menawarkan penyimpanan cache implisit untuk mengoptimalkan performa dan biaya.

Caching implisit

Penyimpanan cache implisit diaktifkan secara default untuk semua model Gemini 2.5 dan yang lebih baru. Fitur ini didukung untuk mode percakapan stateful (menggunakan previous_interaction_id) dan stateless. Kami otomatis memberikan penghematan biaya jika permintaan Anda mencapai cache. Anda tidak perlu mengonfigurasi apa pun untuk mengaktifkannya. Tabel berikut mencantumkan jumlah token input minimum untuk setiap model:

Model Batas token minimum
Gemini 4 Argon 4.096
Gemini 3.8 Flash 4.096
Gemini 3.6 Flash 4.096
Gemini 3.1 Pro Preview 4.096
Gemini 2.5 Flash 2.048
Gemini 2.5 Pro 2.048

Untuk meningkatkan peluang cache ditemukan secara implisit:

  • Coba letakkan konten yang besar dan umum di awal perintah Anda
  • Mencoba mengirim permintaan dengan awalan yang sama dalam waktu singkat

Anda dapat melihat jumlah token yang merupakan cache ditemukan di kolom usage.total_cached_tokens (Python dan JavaScript) objek respons.