Gemini และโมเดล Generative AI อื่นๆ จะประมวลผลอินพุตและเอาต์พุตในระดับที่ละเอียด ที่เรียกว่าโทเค็น
คู่มือนี้จะอธิบายถึงวิธีการรับ หน้าต่างบริบทของโมเดลหนึ่งๆ รวมทั้งวิธีการ นับจำนวนโทเค็นสำหรับกรณีการใช้งานต่างๆ เช่น การป้อนข้อความ แชท และมัลติโมดัล รวมถึงวิธีการและเครื่องมือของระบบ
เกี่ยวกับโทเค็น
โทเค็นอาจเป็นอักขระเดี่ยว เช่น z หรือทั้งคำ เช่น cat คำยาว
ถูกแบ่งออกเป็นหลายๆ โทเค็น ชุดของโทเค็นทั้งหมดที่โมเดลนี้ใช้คือ
เรียกว่าคำศัพท์ และกระบวนการแยกข้อความออกเป็นโทเค็นเรียกว่าอะไร
โทเคนไนเซชัน
สำหรับโมเดล Gemini โทเค็นจะเท่ากับอักขระประมาณ 4 ตัว โทเค็น 100 รายการจะเท่ากับคำภาษาอังกฤษประมาณ 60-80 คำ
เมื่อเปิดใช้การเรียกเก็บเงิน ค่าใช้จ่ายในการโทรไปยัง Gemini API จะเท่ากับ บางส่วนกำหนดโดยจำนวนโทเค็นอินพุตและเอาต์พุต การรู้วิธี จำนวนโทเค็นอาจมีประโยชน์