ذخیره کردن بافت در حافظه نهان

در یک گردش کار معمول هوش مصنوعی، ممکن است بارها و بارها همان کدهای ورودی را به یک مدل ارسال کنید. ‫Gemini API برای بهینه‌سازی عملکرد و هزینه‌ها، ذخیره‌سازی پنهان ضمنی ارائه می‌دهد.

ذخیره در حافظه نهان ضمنی

ذخیره‌سازی ضمنی در حافظه نهان به‌طور پیش‌فرض برای همه مدل‌های Gemini 2.5 و جدیدتر فعال است. این ویژگی هم برای حالت مکالمه با حفظ سابقه (بااستفاده از previous_interaction_id) و هم برای حالت مکالمه بدون حفظ سابقه پشتیبانی می‌شود. اگر درخواست شما به حافظه‌های پنهان برسد، ما به‌طور خودکار صرفه‌جویی در هزینه را منتقل می‌کنیم. برای روشن کردن آن نیازی به پیکربندی چیزی ندارید. جدول زیر حداقل تعداد داده‌واحد ورودی را برای هر مدل فهرست می‌کند:

مدل حداقل حد توکن
Gemini 4 Argon ۴٬۰۹۶
Gemini 3.8 Flash ۴٬۰۹۶
Gemini 3.6 Flash ۴٬۰۹۶
Gemini 3.1 Pro Preview ۴٬۰۹۶
‫Gemini 2.5 Flash ۲۰۴۸
‫Gemini 2.5 Pro ۲۰۴۸

برای افزایش احتمال اصابت حافظه نهان ضمنی:

  • سعی کنید محتوای بزرگ و رایج را در ابتدای پیام‌واره‌تان قرار دهید
  • سعی کنید درخواست‌های دارای پیشوند مشابه را در مدت زمان کوتاهی ارسال کنید

می‌توانید تعداد کدهای زبانی را که در فیلد usage.total_cached_tokens (پایتون و جاوا اسکریپت) شیء پاسخ، بازدیدهای حافظه نهان بوده‌اند ببینید.