การแคชบริบท

ในเวิร์กโฟลว์ AI ทั่วไป คุณอาจส่งโทเค็นอินพุตเดียวกันซ้ำๆ ไปยังโมเดล Gemini API มีการแคชโดยนัยเพื่อเพิ่มประสิทธิภาพและลดต้นทุน

การแคชโดยนัย

การแคชโดยนัยจะเปิดใช้โดยค่าเริ่มต้นสำหรับโมเดล Gemini 2.5 และรุ่นใหม่กว่าทั้งหมด ฟีเจอร์นี้ใช้ได้กับโหมดสนทนาทั้งแบบเก็บสถานะ (ใช้ previous_interaction_id) และไม่เก็บสถานะ เราจะส่งต่อการประหยัดต้นทุนโดยอัตโนมัติหากคำขอของคุณเข้าถึงแคช คุณไม่จำเป็นต้องดำเนินการใดๆ เพื่อเปิดใช้ฟีเจอร์นี้ จำนวนโทเค็นอินพุตขั้นต่ำ สำหรับการแคชบริบทแสดงอยู่ในตารางต่อไปนี้สำหรับแต่ละโมเดล

รุ่น	ขีดจำกัดโทเค็นขั้นต่ำ
Gemini 3.8 Flash	4,096
Gemini 3.6 Flash	4,096
เวอร์ชันตัวอย่างของ Gemini 3.1 Pro	4,096
Gemini 2.5 Flash	2,048
Gemini 2.5 Pro	2,048

วิธีเพิ่มโอกาสในการพบแคชโดยนัย

• ลองวางเนื้อหาขนาดใหญ่และเนื้อหาทั่วไปไว้ที่จุดเริ่มต้นของพรอมต์
• พยายามส่งคำขอที่มีคำนำหน้าที่คล้ายกันในช่วงเวลาสั้นๆ

คุณดูจำนวนโทเค็นที่พบแคชได้ในฟิลด์ usage.total_cached_tokens (Python และ JavaScript) ของออบเจ็กต์การตอบกลับ