প্রসঙ্গ ক্যাশিং

একটি সাধারণ এআই ওয়ার্কফ্লোতে, আপনি একটি মডেলে একই ইনপুট টোকেন বারবার পাঠাতে পারেন। জেমিনি এপিআই পারফরম্যান্স এবং খরচ অপ্টিমাইজ করার জন্য ইমপ্লিসিট ক্যাশিং সুবিধা প্রদান করে।

অন্তর্নিহিত ক্যাশিং

সমস্ত জেমিনি ২.৫ এবং নতুন মডেলগুলির জন্য ইমপ্লিসিট ক্যাশিং ডিফল্টরূপে সক্রিয় থাকে। এটি স্টেটফুল ( previous_interaction_id ব্যবহার করে) এবং স্টেটলেস উভয় কনভারসেশন মোডের জন্যই সমর্থিত। আপনার অনুরোধ ক্যাশে পৌঁছালে আমরা স্বয়ংক্রিয়ভাবে সাশ্রয়কৃত খরচ আপনাকে দিয়ে দিই। এটি সক্রিয় করার জন্য আপনাকে কিছু করতে হবে না। প্রতিটি মডেলের জন্য কনটেক্সট ক্যাশিংয়ের ন্যূনতম ইনপুট টোকেন সংখ্যা নিম্নলিখিত সারণীতে তালিকাভুক্ত করা হয়েছে:

ইমপ্লিসিট ক্যাশে হিটের সম্ভাবনা বাড়াতে:

• আপনার প্রম্পটের শুরুতে বড় এবং সাধারণ বিষয়বস্তু রাখার চেষ্টা করুন।
• অল্প সময়ের মধ্যে একই প্রিফিক্স সহ অনুরোধ পাঠানোর চেষ্টা করুন।

রেসপন্স অবজেক্টের usage.total_cached_tokens (পাইথন এবং জাভাস্ক্রিপ্ট) ফিল্ডে আপনি ক্যাশে হিট হওয়া টোকেনগুলোর সংখ্যা দেখতে পারেন।