ذخیره کردن بافت در حافظه نهان

در گردش کار هوش مصنوعی معمولی، ممکن است نشانه‌های ورودی یکسانی را بارها و بارها به مدل ارسال کنید. ‫Gemini API برای بهینه‌سازی عملکرد و هزینه‌ها، حافظه نهان ضمنی ارائه می‌دهد.

ذخیره در حافظه نهان ضمنی

ذخیره‌سازی نهان ضمنی به‌طور پیش‌فرض برای همه مدل‌های Gemini 2.5 و جدیدتر فعال است. این ویژگی هم برای حالت مکالمه حالت‌دار (بااستفاده از previous_interaction_id) و هم برای حالت مکالمه بدون حالت پشتیبانی می‌شود. اگر درخواست شما به حافظه‌های پنهان برسد، ما به‌طور خودکار صرفه‌جویی در هزینه را اعمال می‌کنیم. برای روشن کردن آن نیازی به پیکربندی چیزی ندارید. جدول زیر حداقل تعداد نشان ورودی برای هر مدل را فهرست می‌کند:

مدل حداقل حد داده‌واحد
‫Gemini 4 Argon ۴٬۰۹۶
Gemini 3.8 Flash ۴٬۰۹۶
Gemini 3.6 Flash ۴٬۰۹۶
Gemini 3.1 Pro Preview ۴٬۰۹۶
Gemini 2.5 Flash ۲٬۰۴۸
‫Gemini 2.5 Pro ۲۰۴۸

برای افزایش احتمال برخورد با حافظه نهان ضمنی:

  • سعی کنید محتوای بزرگ و رایج را در ابتدای پیام‌واره‌تان قرار دهید
  • سعی کنید درخواست‌های دارای پیشوند مشابه را در مدت زمان کوتاهی ارسال کنید

می‌توانید تعداد نشان‌هایی را که در فیلد usage.total_cached_tokens (Python و JavaScript) شیء پاسخ در حافظه نهان وجود داشته‌اند ببینید.