আপনার নির্দিষ্ট ওয়ার্কলোডের প্রয়োজন অনুযায়ী স্পিড, খরচ ও নির্ভরযোগ্যতার মধ্যে ভারসাম্য বজায় রাখতে Gemini API আপনাকে বিভিন্ন ধরনের অপ্টিমাইজেশন মেকানিজম অফার করে। আপনি রিয়েল-টাইম কথোপকথনমূলক বট তৈরি করছেন বা অফলাইনে ডেটা-প্রসেসিং পাইপলাইন চালাচ্ছেন কিনা, সঠিক প্যারাডাইম বেছে নিলে খরচ উল্লেখযোগ্যভাবে কমে যেতে পারে বা পারফর্ম্যান্স বাড়তে পারে।
| ফিচার | মানক | ফ্লেক্স | অগ্রাধিকার | ব্যাচ | ক্যাশ করা হচ্ছে |
|---|---|---|---|---|---|
| দাম | সম্পূর্ণ দাম | ৫০% ছাড় | স্ট্যান্ডার্ডের চেয়ে ৭৫% থেকে ১০০% বেশি | ৫০% ছাড় | ৯০% ছাড় + প্রোরেটেড টোকেন স্টোরেজ |
| লেটেন্সি | সেকেন্ড থেকে মিনিট | মিনিট (১–১৫ মিনিট টার্গেট) | সেকেন্ড | ২৪ ঘণ্টা পর্যন্ত | প্রথম টোকেন জেনারেশনে কম সময় লাগা |
| নির্ভরযোগ্যতা | বেশি / মাঝারি-বেশি | বেস্ট-এফোর্ট (শেডেবল) | বেশি (নন-শেডেবল) | বেশি (থ্রুপুটের জন্য) | প্রযোজ্য নয় |
| ইন্টারফেস | সিনক্রোনাস | সিনক্রোনাস | সিনক্রোনাস | অসমনিয়ত | সেভ করা স্টেট |
| সবচেয়ে ভাল ব্যবহার | আবেদনের সাধারণ ওয়ার্কফ্লো | অত্যন্ত জরুরি নয় এমন ক্রমিক চেইন | প্রোডাকশন, ব্যবহারকারীর জন্য অ্যাপ | বিশাল ডেটাসেট, অফলাইন মূল্যায়ন | একই ফাইল নিয়ে বার বার কোয়েরি করা |
ইনফারেন্স পরিষেবা স্তর (সিঙ্ক্রোনাস)
আপনার স্ট্যান্ডার্ড জেনারেশন কলে service_tier প্যারামিটার পাস করে, আপনি নির্ভরযোগ্যতা-অপ্টিমাইজ করা এবং খরচ-অপ্টিমাইজ করা সিঙ্ক্রোনাস ট্রাফিকের
মধ্যে পরিবর্তন করতে পারবেন।
স্ট্যান্ডার্ড ইনফারেন্স (ডিফল্ট)
ক্রমিক কন্টেন্ট জেনারেশনের জন্য স্ট্যান্ডার্ড টিয়ার হল ডিফল্ট বিকল্প। এটি অতিরিক্ত প্রিমিয়াম বা দীর্ঘক্ষণ অপেক্ষা না করিয়েই সাধারণ সময়ের মধ্যে উত্তর দেয়।
- নির্ভরযোগ্যতা: স্ট্যান্ডার্ড গুরুত্ব
- দাম: স্ট্যান্ডার্ড দাম।
- এর জন্য সবচেয়ে ভালো: সবচেয়ে বেশি ইন্টার্যাক্টিভ দৈনন্দিন অ্যাপ্লিকেশন।
অগ্রাধিকার সংক্রান্ত অনুমান (লেটেন্সি-অপ্টিমাইজ করা)
অগ্রাধিকার প্রসেসিং আপনার অনুরোধকে অত্যন্ত গুরুত্বপূর্ণ কম্পিউট কোয়েরিতে রুট করে। এই ট্রাফিক কঠোরভাবে নন-শেডেবল (অন্যান্য টিয়ারের দ্বারা কখনও প্রিএম্পট করা হয় না) এবং সর্বাধিক নির্ভরযোগ্যতা প্রদান করে। আপনি ডায়নামিক অগ্রাধিকারের সীমা অতিক্রম করলে, সিস্টেমটি কোনও সমস্যা না করে, অনুরোধটিকে স্ট্যান্ডার্ড প্রসেসিংয়ে ডিগ্রেড করে দেবে।
- নির্ভরযোগ্যতা: সবচেয়ে বেশি গুরুতর
- দাম: স্ট্যান্ডার্ড রেটের চেয়ে ৭৫% থেকে ১০০% বেশি।
- এর জন্য সবচেয়ে ভালো: গ্রাহক চ্যাটবট, রিয়েল-টাইম জালিয়াতি শনাক্তকরণ এবং ব্যবসার জন্য অত্যন্ত গুরুত্বপূর্ণ কোপাইলট।
Flex inference (খরচ-অপ্টিমাইজ করা)
ফ্লেক্স ইনফারেন্স, সুযোগসন্ধানী অফ-পিক কম্পিউট ক্যাপাসিটি ব্যবহার করে স্ট্যান্ডার্ড রেটের তুলনায় ৫০% ছাড় দেয়। অনুরোধগুলি সিঙ্ক্রোনাসভাবে প্রসেস করা হয়, অর্থাৎ ব্যাচ অবজেক্ট ম্যানেজ করার জন্য আপনাকে কোড আবার লিখতে হবে না। এটি "শেডেবল" ট্রাফিক হওয়ার কারণে, সিস্টেম স্ট্যান্ডার্ড ট্রাফিক স্পাইক অনুভব করলে অনুরোধ প্রিএম্পট করা হতে পারে।
- নির্ভরযোগ্যতা: গ্যারান্টিযুক্ত নয়, শেয়ার করা যায় এমন গুরুত্ব
- মূল্য: স্ট্যান্ডার্ড মূল্যের ৫০% (প্রতি টোকেন হিসেবে বিল করা হয়)।
- এর জন্য সবচেয়ে উপযুক্ত: একাধিক ধাপের এজেন্টিক ওয়ার্কফ্লো যেখানে কল N+1, কল N-এর আউটপুট, ব্যাকগ্রাউন্ড CRM আপডেট এবং অফলাইন মূল্যায়নের উপর নির্ভর করে।
ব্যাচ API (বাল্ক, অ্যাসিঙ্ক্রোনাস)
ব্যাচ API-কে স্ট্যান্ডার্ড খরচের ৫০% মূল্যে অ্যাসিঙ্ক্রোনাসভাবে প্রচুর পরিমাণে অনুরোধ প্রসেস করার জন্য ডিজাইন করা হয়েছে। আপনি ইন-লাইন অভিধান হিসেবে অথবা JSONL ইনপুট ফাইল (সর্বাধিক ২ জিবি) ব্যবহার করে অনুরোধ জমা দিতে পারেন। এটি ২৪ ঘণ্টার টার্গেট টার্নঅ্যারাউন্ড টাইম সহ ব্যাকগ্রাউন্ড থ্রুপুট কিউ ব্যবহার করে অনুরোধ প্রসেস করে।
- নির্ভরযোগ্যতা: ড্রপ করা যায়, তবে ২৪ ঘণ্টা ধরে অটোমেটিক আবার চেষ্টা করা ও কিউ সিস্টেম আছে
- দাম: স্ট্যান্ডার্ড দামের ৫০%।
- এর জন্য সবচেয়ে ভাল: প্রচুর ডেটা সেট প্রসেস করা, পর্যায়ক্রমিক রিগ্রেশন টেস্ট স্যুট চালানো এবং প্রচুর পরিমাণে ছবি বা এম্বেডিং তৈরি করা।
প্রসঙ্গ ক্যাশে করা (ইনপুট সেভ করা)
কন্টেক্সট ক্যাশিং তখন ব্যবহার করা হয় যখন কোনও উল্লেখযোগ্য প্রাথমিক কন্টেক্সটকে ছোট ছোট অনুরোধের মাধ্যমে বারবার রেফারেন্স করা হয়।
- ইমপ্লিসিট ক্যাশিং: Gemini 2.5 ও এর পরের যেকোনও মডেলে অটোমেটিক চালু হয়ে যায়। আপনার অনুরোধ যদি সাধারণ প্রম্পট প্রিফিক্সের উপর ভিত্তি করে আগে থেকে থাকা ক্যাশে হিট করে, তাহলে সিস্টেম খরচ বাঁচানোর সুবিধা দেয়।
- এক্সপ্লিসিট ক্যাশিং: আপনি নির্দিষ্ট টাইম-টু-লাইভ (TTL) সহ ম্যানুয়ালি ক্যাশে অবজেক্ট তৈরি করতে পারবেন। তৈরি হয়ে গেলে, পরবর্তী অনুরোধের জন্য আপনি ক্যাশে করা টোকেন রেফার করেন যাতে একই কর্পাস পেলোড বারবার পাস করতে না হয়।
- মূল্য: ক্যাশে টোকেনের সংখ্যা ও স্টোরেজের সময়সীমার (TTL) ভিত্তিতে বিল করা হয়।
- এর জন্য সবচেয়ে উপযুক্ত: বিস্তারিত সিস্টেম নির্দেশাবলী সহ চ্যাটবট, দীর্ঘ ভিডিও ফাইলের পুনরাবৃত্তিমূলক বিশ্লেষণ অথবা বড় ডকুমেন্ট সেটের বিরুদ্ধে কোয়েরি।
এজেন্টিক প্রসেসিংয়ের মাধ্যমে ভিডিও ইনপুট খরচ কমানো
দীর্ঘ-ফর্মের ভিডিও কন্টেন্টের জন্য, এজেন্টিক প্রসেসিং ইনপুট টোকেন খরচ ৮৮% পর্যন্ত কমাতে পারে, একই সাথে উত্তরের কোয়ালিটি উন্নত করে। ১ FPS (স্ট্যাটিক প্রসেসিং)-এ প্রতিটি ফ্রেম এক্সট্র্যাক্ট করার পরিবর্তে, মডেলটি ডায়নামিক পদ্ধতিতে ভিডিওটি স্ক্যান করে, আপনার প্রম্পটের সাথে প্রাসঙ্গিক ট্রান্সক্রিপ্ট এবং/অথবা ফ্রেম এবং/অথবা অডিও লোড করে। যেসব ছোট ক্লিপের (৫ মিনিটের কম) ক্ষেত্রে লেটেন্সি খুব গুরুত্বপূর্ণ, সেখানে স্ট্যাটিক প্রসেসিং প্রথম টোকেন পেতে (TTFT) কম সময় লাগাতে পারে, কারণ জেনারেট করার আগে এজেন্টিক মোডে ইন্টার্নাল রিজনিং ও টুল রাউন্ড-ট্রিপ করতে হয়।
Gemini 3.8 Flash, 3.6 Flash বা 3.5 Flash Lite-এর সাথে এজেন্টিক প্রসেসিং ব্যবহার করতে,
আপনার ভিডিও ইনপুটে processing: "agentic" (Interactions API) বা
media_processing: "AGENTIC" (GenerateContent API) সেট করুন। মডেলটি
এজেন্টিক প্রসেসিং সাপোর্ট না করলে, এটি একটি সমস্যা রিটার্ন করবে।
কোডের উদাহরণের জন্য এজেন্টিক ভিডিও বোঝা দেখুন।