Banyak model Gemini dilengkapi dengan jendela konteks besar yang berisi 1 juta token atau lebih. Secara historis, model bahasa besar (LLM) sangat dibatasi oleh jumlah teks (atau token) yang dapat diteruskan ke model sekaligus. Jendela konteks panjang Gemini membuka banyak kasus penggunaan dan paradigma developer baru.
Kode yang sudah Anda gunakan untuk kasus seperti pembuatan teks atau input multimodal akan berfungsi tanpa perubahan apa pun dengan konteks panjang.
Dokumen ini memberi Anda ringkasan tentang apa yang dapat Anda capai menggunakan model dengan jendela konteks 1 juta token dan lebih banyak lagi. Halaman ini memberikan ringkasan singkat tentang jendela konteks, dan mempelajari cara developer harus memikirkan konteks panjang, berbagai kasus penggunaan dunia nyata untuk konteks panjang, dan cara mengoptimalkan penggunaan konteks panjang.
Untuk ukuran jendela konteks model tertentu, lihat halaman Model.
Apa itu jendela konteks?
Cara dasar Anda menggunakan model Gemini adalah dengan meneruskan informasi (konteks) ke model, yang selanjutnya akan menghasilkan respons. Analogi untuk jendela konteks adalah memori jangka pendek. Ada jumlah informasi terbatas yang dapat disimpan dalam memori jangka pendek seseorang, dan hal yang sama berlaku untuk model generatif.
Di Gemini 4 (gemini-4-argon), jendela konteks 1 juta token dibagikan di seluruh token input, pemikiran, dan output, dan model dapat membuat hingga 1 juta token output menggunakan dekode panjang. Jika token input Anda ditambah max_output_tokens melebihi 1.048.576 token, API akan otomatis membatasi output ke ruang yang tersisa di jendela konteks (1,048,576 dikurangi token input Anda). Model Gemini 3 dan 2.5 sebelumnya menggunakan anggaran input 1 juta dan output 64 ribu yang terpisah.
Anda dapat membaca lebih lanjut cara kerja model di balik layar dalam panduan model generatif kami.
Mulai menggunakan konteks panjang
Versi awal model generatif hanya dapat memproses 8.000 token sekaligus. Model yang lebih baru mendorong batas ini lebih jauh dengan menerima 32.000 atau bahkan 128.000 token. Gemini adalah model pertama yang mampu menerima 1 juta token.
Dalam praktiknya, 1 juta token akan terlihat seperti:
- 50.000 baris kode (dengan 80 karakter per baris standar)
- Semua pesan teks yang Anda kirim dalam 5 tahun terakhir
- 8 novel bahasa Inggris dengan panjang rata-rata
- Transkrip lebih dari 200 episode podcast dengan durasi rata-rata
Jendela konteks yang lebih terbatas yang umum di banyak model lain sering kali memerlukan strategi seperti menghapus pesan lama secara arbitrer, meringkas konten, menggunakan RAG dengan database vektor, atau memfilter prompt untuk menghemat token.
Meskipun teknik ini tetap berguna dalam skenario tertentu, jendela konteks Gemini yang luas memungkinkan pendekatan yang lebih langsung: memberikan semua informasi yang relevan di awal. Karena model Gemini dibuat khusus dengan kemampuan konteks yang sangat besar, model ini menunjukkan pembelajaran dalam konteks yang efektif. Misalnya, hanya dengan menggunakan materi instruksional dalam konteks (tata bahasa referensi 500 halaman, kamus, dan ≈400 kalimat paralel), Gemini belajar menerjemahkan dari bahasa Inggris ke Kalamang—bahasa Papua dengan kurang dari 200 penutur—dengan kualitas yang mirip dengan pelajar manusia yang menggunakan materi yang sama. Hal ini menggambarkan perubahan paradigma yang dimungkinkan oleh konteks panjang Gemini, yang memberdayakan berbagai kemungkinan baru melalui pembelajaran dalam konteks yang kuat.
Kasus penggunaan konteks panjang
Meskipun kasus penggunaan standar untuk sebagian besar model generatif masih berupa input teks, keluarga model Gemini memungkinkan paradigma baru kasus penggunaan multimodal. Model ini dapat memahami teks, video, audio, dan gambar secara native. Model ini disertai dengan Gemini API yang menerima jenis file multimodal untuk memudahkan.
Teks panjang
Teks telah terbukti menjadi lapisan kecerdasan yang mendasari sebagian besar momentum seputar LLM. Seperti yang disebutkan sebelumnya, sebagian besar batasan praktis LLM disebabkan oleh tidak adanya jendela konteks yang cukup besar untuk melakukan tugas tertentu. Hal ini menyebabkan adopsi cepat retrieval augmented generation (RAG) dan teknik lain yang secara dinamis memberikan informasi kontekstual yang relevan kepada model. Kini, dengan jendela konteks yang makin besar, ada teknik baru yang tersedia dan membuka kasus penggunaan baru.
Beberapa kasus penggunaan baru dan standar untuk konteks panjang berbasis teks meliputi:
- Meringkas korpus teks yang besar
- Opsi ringkasan sebelumnya dengan model konteks yang lebih kecil akan memerlukan jendela geser atau teknik lain untuk mempertahankan status bagian sebelumnya saat token baru diteruskan ke model
- Tanya jawab
- Secara historis, hal ini hanya mungkin dilakukan dengan RAG mengingat terbatasnya jumlah konteks dan rendahnya pengenalan faktual model
- Agentic Workflows
- Teks adalah dasar dari cara agen mempertahankan status tindakan yang telah dilakukan dan yang perlu dilakukan; tidak memiliki informasi yang cukup tentang dunia dan tujuan agen adalah batasan pada keandalan agen
Many-shot in-context learning adalah salah satu kemampuan paling unik yang dimiliki oleh model konteks panjang. Riset telah menunjukkan bahwa mengambil paradigma contoh "sekali coba" atau "beberapa kali coba" yang umum, di mana model disajikan dengan satu atau beberapa contoh tugas, dan menskalakannya hingga ratusan, ribuan, atau bahkan ratusan ribu contoh, dapat menghasilkan kemampuan model baru. Pendekatan many-shot ini juga terbukti memiliki performa yang mirip dengan model yang telah disesuaikan untuk tugas tertentu. Untuk kasus penggunaan yang performa model Gemini-nya belum memadai untuk peluncuran produksi, Anda dapat mencoba pendekatan many-shot. Seperti yang mungkin akan Anda pelajari nanti di bagian pengoptimalan konteks panjang, cache konteks membuat jenis workload token input tinggi ini jauh lebih layak secara ekonomi dan bahkan latensinya lebih rendah dalam beberapa kasus.
Video panjang
Utilitas konten video telah lama dibatasi oleh kurangnya aksesibilitas media itu sendiri. Konten sulit dibaca sekilas, transkrip sering gagal menangkap nuansa video, dan sebagian besar alat tidak memproses gambar, teks, dan audio secara bersamaan. Dengan Gemini, kemampuan teks konteks panjang diterjemahkan menjadi kemampuan untuk menalar dan menjawab pertanyaan tentang input multimodal dengan performa yang berkelanjutan.
Beberapa kasus penggunaan standar dan baru untuk konteks panjang video meliputi:
- Tanya jawab video
- Memori video, seperti yang ditunjukkan dengan Project Astra Google
- Pemberian teks video
- Sistem rekomendasi video, dengan memperkaya metadata yang ada dengan pemahaman multimodal baru
- Penyesuaian video, dengan melihat korpus data dan metadata video terkait, lalu menghapus bagian video yang tidak relevan bagi penonton
- Moderasi konten video
- Pemrosesan video real-time
Saat bekerja dengan video, penting untuk mempertimbangkan bagaimana video diproses menjadi token, yang memengaruhi batas penagihan dan penggunaan. Anda dapat mempelajari lebih lanjut cara memberikan perintah dengan file video di Panduan memberikan perintah.
Audio panjang
Model Gemini adalah model bahasa besar multimodal pertama yang secara native dapat memahami audio. Secara historis, alur kerja developer standar akan melibatkan penggabungan beberapa model khusus domain, seperti model speech-to-text dan model text-to-text, untuk memproses audio. Hal ini menyebabkan latensi tambahan yang diperlukan dengan melakukan beberapa permintaan pulang-pergi dan penurunan performa yang biasanya disebabkan oleh arsitektur yang terputus dari penyiapan beberapa model.
Beberapa kasus penggunaan baru dan standar untuk konteks audio meliputi:
- Transkripsi dan terjemahan real-time
- Tanya jawab podcast / video
- Transkripsi dan ringkasan rapat
- Asisten suara
Anda dapat mempelajari lebih lanjut cara memberikan perintah dengan file audio di Panduan perintah.
Pengoptimalan konteks panjang
Pengoptimalan utama saat menggunakan konteks panjang dan model Gemini adalah menggunakan cache konteks. Selain ketidakmungkinan sebelumnya untuk memproses banyak token dalam satu permintaan, batasan utama lainnya adalah biaya. Jika Anda memiliki aplikasi "chat dengan data Anda" tempat pengguna mengupload 10 PDF, video, dan beberapa dokumen kerja, secara historis Anda harus bekerja dengan alat/framework retrieval augmented generation (RAG) yang lebih kompleks untuk memproses permintaan ini dan membayar jumlah yang signifikan untuk token yang dipindahkan ke jendela konteks. Sekarang, Anda dapat menyimpan dalam cache file yang diupload pengguna dan membayar untuk menyimpannya per jam. Biaya input / output per permintaan dengan Gemini Flash, misalnya, ~4x lebih rendah daripada biaya input / output standar. Jadi, jika pengguna cukup sering melakukan percakapan dengan datanya, Anda sebagai developer akan menghemat biaya yang sangat besar.
Batasan konteks panjang
Di berbagai bagian panduan ini, kami membahas cara model Gemini mencapai performa tinggi di berbagai evaluasi pengambilan needle-in-a-haystack. Pengujian ini mempertimbangkan penyiapan paling dasar, yaitu Anda memiliki satu jarum yang sedang dicari. Jika Anda memiliki beberapa "jarum" atau informasi spesifik yang Anda cari, model tidak akan memberikan akurasi yang sama. Performa dapat sangat bervariasi bergantung pada konteksnya. Hal ini penting untuk dipertimbangkan karena ada konsekuensi yang melekat antara mendapatkan informasi yang tepat dan biaya. Anda bisa mendapatkan ~99% pada satu kueri, tetapi Anda harus membayar biaya token input setiap kali mengirim kueri tersebut. Jadi, untuk mengambil 100 informasi, jika Anda memerlukan performa 99%, Anda mungkin perlu mengirim 100 permintaan. Ini adalah contoh yang baik tentang bagaimana cache konteks dapat mengurangi biaya penggunaan model Gemini secara signifikan sekaligus menjaga performa tetap tinggi.
FAQ
Di mana tempat terbaik untuk menempatkan kueri saya di jendela konteks?
Dalam sebagian besar kasus, terutama jika total konteksnya panjang, performa model akan lebih baik jika Anda menempatkan kueri / pertanyaan di akhir perintah (setelah semua konteks lainnya).
Apakah performa model akan menurun jika saya menambahkan lebih banyak token ke kueri?
Umumnya, jika Anda tidak perlu meneruskan token ke model, sebaiknya hindari meneruskannya. Namun, jika Anda memiliki sejumlah besar token dengan beberapa informasi dan ingin mengajukan pertanyaan tentang informasi tersebut, model ini sangat mampu mengekstrak informasi tersebut (hingga akurasi 99% dalam banyak kasus).
Bagaimana cara menurunkan biaya dengan kueri konteks panjang?
Jika Anda memiliki kumpulan token / konteks serupa yang ingin digunakan kembali berkali-kali, penyimpanan dalam cache konteks dapat membantu mengurangi biaya yang terkait dengan mengajukan pertanyaan tentang informasi tersebut.
Apakah jendela konteks memengaruhi latensi model?
Ada sejumlah latensi tetap dalam permintaan tertentu, terlepas dari ukurannya, tetapi umumnya kueri yang lebih panjang akan memiliki latensi yang lebih tinggi (waktu untuk token pertama).