Gemini API menawarkan berbagai mekanisme pengoptimalan untuk membantu Anda menyeimbangkan kecepatan, biaya, dan keandalan berdasarkan kebutuhan workload tertentu. Baik Anda membuat bot percakapan real-time atau menjalankan pipeline pemrosesan data offline yang berat, memilih paradigma yang tepat dapat mengurangi biaya secara signifikan atau meningkatkan performa.
| Fitur | Standar | Fleksibel | Prioritas | Batch | Menyimpan ke cache |
|---|---|---|---|---|---|
| Harga | Harga Penuh | Diskon 50% | 75% hingga 100% lebih mahal dari standar | Diskon 50% | Diskon 90% + Penyimpanan token yang dihitung secara prorata |
| Latensi | Detik hingga menit | Menit (target 1–15 menit) | Detik | Hingga 24 jam | Waktu ke token pertama yang lebih cepat |
| Keandalan | Tinggi / Sedang-tinggi | Upaya terbaik (Dapat dihentikan) | Tinggi (Tidak dapat dihentikan) | Tinggi (untuk throughput) | T/A |
| Antarmuka | Sinkron | Sinkron | Sinkron | Asinkron | Status tersimpan |
| Kasus penggunaan terbaik | Alur kerja aplikasi umum | Rantai berurutan yang tidak mendesak | Aplikasi produksi yang ditampilkan kepada pengguna | Set data besar, evaluasi offline | Kueri berulang pada file yang sama |
Tingkat layanan inferensi (Sinkron)
Anda dapat beralih antara traffic sinkron yang dioptimalkan untuk keandalan dan yang dioptimalkan untuk biaya dengan meneruskan parameter service_tier dalam panggilan pembuatan standar.
Inferensi standar (Default)
Tingkat standar adalah opsi default untuk pembuatan konten berurutan. Tingkat ini memberikan waktu respons normal tanpa premi tambahan atau antrean yang berat.
- Keandalan: Tingkat keparahan standar
- Harga: Harga standar.
- Paling Cocok Untuk: Sebagian besar aplikasi interaktif sehari-hari.
Inferensi prioritas (Dioptimalkan untuk latensi)
Pemrosesanprioritas merutekan permintaan Anda ke antrean komputasi dengan tingkat keparahan tinggi. Traffic ini bersifat tidak dapat dihentikan (tidak pernah didahulukan oleh tingkat lainnya) dan menawarkan keandalan tertinggi. Jika Anda melebihi batas Prioritas dinamis, sistem akan menurunkan permintaan ke pemrosesan Standar secara lancar, bukan gagal dengan error.
- Keandalan: Tingkat keparahan tertinggi
- Harga: 75% hingga 100% di atas tarif Standar.
- Paling cocok untuk: Chatbot pelanggan, deteksi penipuan real-time, dan kopilot penting untuk bisnis.
Inferensi fleksibel (Dioptimalkan untuk biaya)
Inferensi fleksibel menawarkan diskon 50% dibandingkan tarif standar dengan memanfaatkan kapasitas komputasi di luar jam sibuk yang oportunistik. Permintaan diproses secara sinkron, yang berarti Anda tidak perlu menulis ulang kode untuk mengelola objek batch. Karena merupakan traffic yang "dapat dihentikan", permintaan dapat didahulukan jika sistem mengalami lonjakan traffic standar.
- Keandalan: Tingkat keparahan yang tidak dijamin dan dapat dihentikan
- Harga: 50% dari Harga Standar (ditagih per token).
- Paling cocok untuk: Agentic Workflows multilangkah yang panggilan N+1 bergantung pada output panggilan N, update CRM latar belakang, dan evaluasi offline.
Batch API (Massal, asinkron)
Batch API dirancang untuk memproses permintaan dalam volume besar secara asinkron dengan biaya 50% dari biaya standar. Anda dapat mengirimkan permintaan sebagai kamus inline atau menggunakan file input JSONL (hingga 2 GB). API ini memproses permintaan menggunakan antrean throughput latar belakang dengan waktu penyelesaian target 24 jam.
- Keandalan: Dapat dihentikan, tetapi dengan sistem antrean dan percobaan ulang otomatis 24 jam
- Harga: 50% dari harga Standar.
- Paling cocok untuk: Pra-pemrosesan set data besar, menjalankan suite pengujian regresi berkala, dan pembuatan gambar atau embedding dalam volume tinggi.
Cache konteks (Penghematan input)
Cache konteks digunakan saat konteks awal yang substansial dirujuk berulang kali oleh permintaan yang lebih pendek.
- Implicit caching: Diaktifkan secara otomatis pada Gemini 2.5 dan model yang lebih baru. Sistem akan memberikan penghematan biaya jika permintaan Anda cocok dengan cache yang ada berdasarkan awalan perintah umum.
- Explicit Caching: Anda dapat membuat objek cache secara manual dengan Time-To-Live (TTL) tertentu. Setelah dibuat, Anda dapat merujuk ke token yang di-cache untuk permintaan berikutnya agar tidak perlu meneruskan payload korpus yang sama berulang kali. Explicit caching tidak didukung untuk Gemini 4 Argon dan yang lebih baru.
- Harga: Ditagih berdasarkan jumlah token cache dan durasi penyimpanan (TTL).
- Paling Cocok Untuk: Chatbot dengan petunjuk sistem yang ekstensif, analisis berulang pada file video yang panjang, atau kueri terhadap kumpulan dokumen besar.
Mengurangi biaya input video dengan pemrosesan agen
Untuk konten video berdurasi panjang (lebih dari 5–10 menit) atau kueri yang ditargetkan, pemrosesan agen dapat mengurangi biaya token input hingga 88% sekaligus meningkatkan kualitas respons. Secara default, semua model (termasuk Gemini 4) menggunakan pemrosesan statis untuk mengekstrak frame pada 1 FPS. Dengan pemahaman video agen, model akan memeriksa transkrip video terlebih dahulu dan memuat segmen visual secara dinamis pada kecepatan frame dan resolusi yang lebih tinggi hanya jika diperlukan. Untuk klip pendek (di bawah 5 menit) atau ringkasan video lengkap yang luas, pertahankan mode pemrosesan statis default untuk Time to First Token (TTFT) yang lebih cepat dan overhead token yang lebih rendah. Mode agen menimbulkan penalaran internal (total_thought_tokens) dan perjalanan pulang pergi alat (total_tool_use_tokens) selama navigasi linimasa.
Untuk menggunakan pemrosesan agen dengan Gemini 4 Argon, 3.8 Flash, 3.6 Flash, atau 3.5 Flash Lite,
tetapkan processing: "agentic" (Interactions API) atau
media_processing: "AGENTIC" (GenerateContent API) pada input video Anda. Jika model tidak mendukung pemrosesan agen, model akan menampilkan error.
Untuk mengetahui informasi selengkapnya, lihat Pemahaman video agen.