Gemini dan model AI generatif lainnya memproses input dan output dengan tingkat perincian yang disebut token.
Panduan ini menjelaskan cara mendapatkan periode konteks model tertentu, serta cara menghitung token untuk kasus penggunaan seperti input teks, chat, input multimodal, serta petunjuk dan alat sistem.
Tentang token
Token dapat berupa satu karakter seperti z atau seluruh kata seperti cat. Kata panjang
dibagi menjadi beberapa token. Kumpulan semua token yang digunakan oleh model disebut kosakata, dan proses pemisahan teks menjadi token disebut tokenisasi.
Untuk model Gemini, token setara dengan sekitar 4 karakter. 100 token sama dengan sekitar 60-80 kata dalam bahasa Inggris.
Saat penagihan diaktifkan, biaya panggilan ke Gemini API ditentukan sebagian oleh jumlah token input dan output, sehingga mengetahui cara menghitung token dapat sangat membantu.