Memahami dan menghitung token


Gemini dan model AI generatif lainnya memproses input dan output pada tingkat perincian disebut token.

Panduan ini menjelaskan cara mendapatkan jendela konteks model tertentu, serta cara penghitungan token untuk kasus penggunaan seperti input teks, chat, multimodal input, serta petunjuk dan alat sistem.

Tentang token

Token dapat berupa karakter tunggal seperti z atau seluruh kata seperti cat. Kata-kata panjang dipecah menjadi beberapa token. Kumpulan semua token yang digunakan oleh model adalah disebut kosakata, dan proses pemisahan teks menjadi token disebut tokenization.

Untuk model Gemini, token setara dengan sekitar 4 karakter. 100 token sama dengan sekitar 60-80 kata bahasa Inggris.

Jika penagihan diaktifkan, biaya panggilan ke Gemini API adalah sebagian ditentukan oleh jumlah token input dan {i>output<i}, sehingga mengetahui cara tibble dapat membantu.