Gemini และโมเดล Generative AI อื่นๆ จะประมวลผลอินพุตและเอาต์พุตในระดับที่ละเอียด ที่เรียกว่าโทเค็น
คู่มือนี้จะอธิบายวิธีรับกรอบเวลาบริบทของโมเดลที่เฉพาะเจาะจง รวมถึงวิธีนับโทเค็นสําหรับ Use Case เช่น การป้อนข้อความ แชท การป้อนข้อมูลแบบมัลติโมเดล ตลอดจนวิธีการและเครื่องมือของระบบ
เกี่ยวกับโทเค็น
โดยโทเค็นอาจเป็นอักขระเดี่ยว เช่น z หรือทั้งคำ เช่น cat คำยาว
ถูกแบ่งออกเป็นหลายๆ โทเค็น ชุดของโทเค็นทั้งหมดที่โมเดลนี้ใช้คือ
เรียกว่าคำศัพท์ และกระบวนการแยกข้อความออกเป็นโทเค็นเรียกว่าอะไร
โทเคนไนเซชัน
สำหรับโมเดล Gemini โทเค็นจะเท่ากับอักขระประมาณ 4 ตัว โทเค็น 100 รายการจะเท่ากับคำภาษาอังกฤษประมาณ 60-80 คำ
เมื่อเปิดใช้การเรียกเก็บเงิน ค่าใช้จ่ายในการโทรไปยัง Gemini API จะเท่ากับ บางส่วนกำหนดโดยจำนวนโทเค็นอินพุตและเอาต์พุต การรู้วิธี จำนวนโทเค็นอาจมีประโยชน์