Gemini และโมเดล Generative AI อื่นๆ จะประมวลผลอินพุตและเอาต์พุตในระดับรายละเอียดที่เรียกว่าโทเค็น
เกี่ยวกับโทเค็น
โดยโทเค็นอาจเป็นอักขระเดี่ยว เช่น z หรือทั้งคำ เช่น cat คํายาวๆ จะแบ่งออกเป็นโทเค็นหลายรายการ ชุดโทเค็นทั้งหมดที่โมเดลใช้เรียกว่าคําศัพท์ และกระบวนการแยกข้อความออกเป็นโทเค็นเรียกว่าการแยกโทเค็น
สำหรับโมเดล Gemini โทเค็นจะเท่ากับประมาณ 4 อักขระ โทเค็น 100 รายการเท่ากับคำภาษาอังกฤษประมาณ 60-80 คำ
เมื่อเปิดใช้การเรียกเก็บเงิน ต้นทุนของการเรียกใช้ Gemini API จะพิจารณาจากจำนวนโทเค็นอินพุตและเอาต์พุตส่วนหนึ่ง ดังนั้นการทราบวิธีนับโทเค็นจึงมีประโยชน์