কন্টেক্সট ক্যাশিং

সাধারণ AI ওয়ার্কফ্লোতে, আপনি কোনও মডেলে একই ইনপুট টোকেন বারবার পাস করতে পারেন। পারফর্ম্যান্স ও খরচ অপ্টিমাইজ করার জন্য Gemini API-তে অন্তর্নিহিত ক্যাশিংয়ের সুবিধা আছে।

ইমপ্লিসিট ক্যাশিং

সব Gemini 2.5 এবং নতুন মডেলের জন্য ডিফল্ট হিসেবে ইমপ্লিসিট ক্যাশিং চালু করা থাকে। এটি স্টেটফুল (previous_interaction_id ব্যবহার করে) এবং স্টেটলেস কথোপকথন মোড, দুটির জন্যই কাজ করে। আপনার অনুরোধ ক্যাশে হিট করলে, আমরা অটোমেটিক খরচ বাঁচিয়ে দিই। এটি চালু করার জন্য আপনাকে কিছু কনফিগার করতে হবে না। নিচের সারণীতে প্রতিটি মডেলের জন্য ন্যূনতম ইনপুট টোকেনের সংখ্যা তালিকাভুক্ত করা হয়েছে:

মডেল টোকেনের ন্যূনতম সীমা
Gemini 4 Argon ৪,০৯৬
Gemini 3.8 Flash ৪,০৯৬
Gemini 3.6 Flash ৪,০৯৬
Gemini 3.1 Pro প্রিভিউ ৪,০৯৬
Gemini 2.5 Flash ২,০৪৮
Gemini 2.5 Pro ২,০৪৮

ইমপ্লিসিট ক্যাশে হিট হওয়ার সম্ভাবনা বাড়াতে:

  • আপনার প্রম্পটের শুরুতে বড় এবং সাধারণ কন্টেন্ট রাখার চেষ্টা করুন
  • অল্প সময়ের মধ্যে একই প্রিফিক্স সহ অনুরোধ পাঠানোর চেষ্টা করুন

আপনি প্রতিক্রিয়া অবজেক্টের usage.total_cached_tokens (Python এবং JavaScript) ফিল্ডে ক্যাশে হিট হওয়া টোকেনের সংখ্যা দেখতে পাবেন।