কন্টেক্সট ক্যাশিং

সাধারণ AI ওয়ার্কফ্লোতে, আপনি কোনও মডেলে একই ইনপুট টোকেন বারবার পাস করতে পারেন। পারফর্ম্যান্স ও খরচ অপ্টিমাইজ করার জন্য Gemini API-তে অন্তর্নিহিত ক্যাশিংয়ের সুবিধা আছে।

ইমপ্লিসিট ক্যাশিং

Gemini 2.5 ও এর পরের সব মডেলের জন্য ডিফল্ট হিসেবে ইমপ্লিসিট ক্যাশিং চালু করা থাকে। এটি স্টেটফুল (previous_interaction_id ব্যবহার করে) এবং স্টেটলেস কথোপকথন মোড, দু'টির ক্ষেত্রেই কাজ করে। আপনার অনুরোধ ক্যাশে হিট করলে, আমরা অটোমেটিক খরচ বাঁচিয়ে দিই। এটি চালু করার জন্য আপনাকে কিছু করতে হবে না। প্রতিটি মডেলের জন্য কনটেক্সট ক্যাশিংয়ের ন্যূনতম ইনপুট টোকেন সংখ্যা নিম্নলিখিত সারণীতে তালিকাভুক্ত করা হয়েছে:

মডেল ন্যূনতম টোকেন সীমা
Gemini 3.8 Flash ৪,০৯৬
Gemini 3.6 Flash ৪,০৯৬
Gemini 3.1 Pro প্রিভিউ ৪,০৯৬
Gemini 2.5 Flash ২,০৪৮
Gemini 2.5 Pro ২,০৪৮

ইমপ্লিসিট ক্যাশে হিট হওয়ার সম্ভাবনা বাড়াতে:

  • প্রম্পটের শুরুতে বড় ও সাধারণ কন্টেন্ট যোগ করার চেষ্টা করুন
  • অল্প সময়ের মধ্যে একই ধরনের প্রিফিক্স সহ অনুরোধ পাঠানোর চেষ্টা করা

আপনি প্রতিক্রিয়া অবজেক্টের usage.total_cached_tokens (Python এবং JavaScript) ফিল্ডে ক্যাশে হিট হওয়া টোকেনের সংখ্যা দেখতে পাবেন।