Gemini API বিভিন্ন ধরনের অপ্টিমাইজেশন মেকানিজম অফার করে যা আপনার নির্দিষ্ট ওয়ার্কলোড সংক্রান্ত প্রয়োজনের ভিত্তিতে স্পিড, খরচ ও নির্ভরযোগ্যতার মধ্যে ভারসাম্য বজায় রাখতে সাহায্য করে। আপনি রিয়েল-টাইম কথোপকথনমূলক বট তৈরি করছেন বা অফলাইনে ডেটা-প্রসেসিং পাইপলাইন চালাচ্ছেন কিনা, সঠিক প্যারাডাইম বেছে নিলে খরচ উল্লেখযোগ্যভাবে কমে যেতে পারে বা পারফর্ম্যান্স বাড়তে পারে।
| ফিচার | মানক | ফ্লেক্স | অগ্রাধিকার | ব্যাচ | ক্যাশ করা হচ্ছে |
|---|---|---|---|---|---|
| দাম | সম্পূর্ণ দাম | ৫০% ছাড় | স্ট্যান্ডার্ডের চেয়ে ৭৫% থেকে ১০০% বেশি | ৫০% ছাড় | ৯০% ছাড় + প্রোরেটেড টোকেন স্টোরেজ |
| লেটেন্সি | সেকেন্ড থেকে মিনিট | মিনিট (১–১৫ মিনিটের লক্ষ্য) | সেকেন্ড | ২৪ ঘণ্টা পর্যন্ত | আরও দ্রুত প্রথম টোকেন জেনারেশন |
| নির্ভরযোগ্যতা | বেশি / মাঝারি-বেশি | সামঞ্জস্যপূর্ণ প্রচেষ্টা (শেডেবল) | বেশি (নন-শেডেবল) | বেশি (থ্রুপুটের জন্য) | প্রযোজ্য নয় |
| ইন্টারফেস | সিনক্রোনাস | সিনক্রোনাস | সিঙ্ক্রোনাস | অসমনিয়ত | সেভ করা স্ট্যাটাস |
| সবচেয়ে ভাল ব্যবহার | সাধারণ অ্যাপ্লিকেশন ওয়ার্কফ্লো | অত্যন্ত জরুরি নয় এমন ক্রমিক চেইন | প্রোডাকশন, ব্যবহারকারীর জন্য অ্যাপ | Massive datasets, offline evals | একই ফাইলের উপর বারবার কোয়েরি করা |
ইনফারেন্স পরিষেবা টিয়ার (সিঙ্ক্রোনাস)
আপনার স্ট্যান্ডার্ড জেনারেশন কলে service_tier প্যারামিটার পাস করে, আপনি নির্ভরযোগ্যতা-অপ্টিমাইজ করা এবং খরচ-অপ্টিমাইজ করা সিঙ্ক্রোনাস ট্রাফিকের
মধ্যে পরিবর্তন করতে পারবেন।
স্ট্যান্ডার্ড ইনফারেন্স (ডিফল্ট)
সিকোয়েন্সিয়াল কন্টেন্ট জেনারেশনের জন্য স্ট্যান্ডার্ড টিয়ার হল ডিফল্ট বিকল্প। এটি অতিরিক্ত প্রিমিয়াম বা দীর্ঘক্ষণ অপেক্ষা না করিয়েই সাধারণ সময়ের মধ্যে উত্তর দেয়।
- নির্ভরযোগ্যতা: স্ট্যান্ডার্ড ক্রিটিক্যালিটি
- দাম: স্ট্যান্ডার্ড দাম।
- এর জন্য সবচেয়ে ভালো: সবচেয়ে ইন্টার্যাক্টিভ দৈনন্দিন অ্যাপ্লিকেশন।
প্রায়োরিটি ইনফারেন্স (লেটেন্সি-অপ্টিমাইজ করা)
অগ্রাধিকার প্রসেসিং আপনার অনুরোধকে উচ্চ-গুরুত্বপূর্ণ কম্পিউট কিউতে পাঠায়। এই ট্রাফিক কঠোরভাবে নন-শেডেবল (অন্যান্য টিয়ার দ্বারা কখনই প্রি-এম্পট করা হয় না) এবং সর্বোচ্চ নির্ভরযোগ্যতা অফার করে। আপনি ডায়নামিক প্রায়োরিটি সীমা অতিক্রম করলে, সিস্টেমটি ত্রুটি সহ ব্যর্থ হওয়ার পরিবর্তে অনুরোধটিকে স্ট্যান্ডার্ড প্রসেসিংয়ে ডাউনগ্রেড করবে।
- নির্ভরযোগ্যতা: সবচেয়ে বেশি গুরুত্বপূর্ণ
- দাম: স্ট্যান্ডার্ড রেটের থেকে ৭৫% থেকে ১০০% বেশি।
- এর জন্য সবচেয়ে ভালো: গ্রাহক চ্যাটবট, রিয়েল-টাইম জালিয়াতি শনাক্তকরণ এবং ব্যবসার জন্য অত্যন্ত গুরুত্বপূর্ণ কোপাইলট।
Flex inference (খরচ-অপ্টিমাইজ করা)
ফ্লেক্স ইনফারেন্স, সুযোগসন্ধানী অফ-পিক কম্পিউট ক্যাপাসিটি ব্যবহার করে স্ট্যান্ডার্ড রেটের তুলনায় ৫০% ছাড় দেয়। অনুরোধগুলি সিঙ্ক্রোনাসভাবে প্রসেস করা হয়, অর্থাৎ ব্যাচ অবজেক্ট ম্যানেজ করার জন্য আপনাকে কোড আবার লিখতে হবে না। এটি "শেডেবল" ট্রাফিক হওয়ার কারণে, সিস্টেমে স্ট্যান্ডার্ড ট্রাফিক স্পাইক হলে, অনুরোধগুলি প্রি-এম্পট করা হতে পারে।
- নির্ভরযোগ্যতা: গ্যারান্টিযুক্ত নয়, শেয়ার করা যায় এমন গুরুত্ব
- মূল্য: স্ট্যান্ডার্ড মূল্যের ৫০% (প্রতি টোকেন হিসেবে বিল করা হয়)।
- এটির জন্য সবচেয়ে ভালো: মাল্টি-স্টেপ এজেন্টিক ওয়ার্কফ্লো যেখানে কল N+1 নির্ভর করে কল N-এর আউটপুট, ব্যাকগ্রাউন্ড CRM আপডেট এবং অফলাইন মূল্যায়নের উপর।
ব্যাচ API (বাল্ক, অ্যাসিঙ্ক্রোনাস)
ব্যাচ API-কে স্ট্যান্ডার্ড খরচের ৫০% মূল্যে অ্যাসিঙ্ক্রোনাসভাবে প্রচুর পরিমাণে অনুরোধ প্রসেস করার জন্য ডিজাইন করা হয়েছে। আপনি ইন-লাইন অভিধান হিসেবে অথবা JSONL ইনপুট ফাইল (সর্বাধিক ২ জিবি) ব্যবহার করে অনুরোধ জমা দিতে পারেন। এটি ২৪ ঘণ্টার টার্গেট টার্নঅ্যারাউন্ড টাইম সহ ব্যাকগ্রাউন্ড থ্রুপুট কিউ ব্যবহার করে অনুরোধ প্রসেস করে।
- নির্ভরযোগ্যতা: শেড করা যায় তবে ২৪ ঘণ্টার অটোমেটিক আবার চেষ্টা করা এবং সারিবদ্ধ করার সিস্টেম সহ
- দাম: স্ট্যান্ডার্ড দামের ৫০%।
- যেসব ক্ষেত্রে সবচেয়ে ভাল কাজ করে: বিশাল ডেটাসেটের প্রি-প্রসেসিং, পর্যায়ক্রমিক রিগ্রেশন টেস্ট স্যুট চালানো এবং প্রচুর পরিমাণে ছবি বা এম্বেডিং জেনারেশন।
প্রসঙ্গ ক্যাশে করা (ইনপুট সেভ করা)
কনটেক্সট ক্যাশিং ব্যবহার করা হয় যখন একটি উল্লেখযোগ্য প্রাথমিক কনটেক্সট ছোট অনুরোধের মাধ্যমে বারবার রেফার করা হয়।
- ইমপ্লিসিট ক্যাশিং: Gemini 2.5 এবং আরও নতুন মডেলে অটোমেটিক চালু করা হয়। আপনার অনুরোধ সাধারণ প্রম্পট প্রিফিক্সের উপর ভিত্তি করে বর্তমান ক্যাশে হিট করলে, সিস্টেম খরচ সাশ্রয় করে।
- এক্সপ্লিসিট ক্যাশিং: আপনি নির্দিষ্ট টাইম-টু-লাইভ (TTL) সহ ম্যানুয়ালি ক্যাশে অবজেক্ট তৈরি করতে পারবেন। তৈরি হয়ে গেলে, পরবর্তী অনুরোধের জন্য আপনি ক্যাশে করা টোকেন রেফার করেন যাতে একই কর্পাস পেলোড বারবার পাস করতে না হয়। Gemini 4 Argon এবং তার পরবর্তী ভার্সনে এক্সপ্লিসিট ক্যাশিং কাজ করে না।
- দাম: ক্যাশে টোকেন কাউন্ট ও স্টোরেজের সময়সীমার (TTL) ভিত্তিতে বিল করা হয়।
- যেসব ক্ষেত্রে সবচেয়ে উপযোগী: বিস্তারিত সিস্টেম নির্দেশাবলী সহ চ্যাটবট, দীর্ঘ ভিডিও ফাইলের পুনরাবৃত্তিমূলক বিশ্লেষণ বা বড় ডকুমেন্ট সেটের উপর ভিত্তি করে কোয়েরি।
এজেন্টিক প্রসেসিংয়ের মাধ্যমে ভিডিও ইনপুট খরচ কমানো
বড় দৈর্ঘ্যের ভিডিও কন্টেন্ট (৫–১০ মিনিটের বেশি) বা টার্গেট করা কোয়েরির জন্য, এজেন্টিভ প্রসেসিং ইনপুট টোকেনের খরচ
৮৮% পর্যন্ত কমাতে পারে এবং একই সাথে উত্তরের কোয়ালিটি উন্নত করতে পারে। ডিফল্ট হিসেবে, সব মডেল (Gemini 4 সহ) স্ট্যাটিক প্রসেসিং ব্যবহার করে ১ FPS-এ ফ্রেম এক্সট্র্যাক্ট করে। এজেন্টিক ভিডিও বোঝার মাধ্যমে, মডেলটি প্রথমে ভিডিও ট্রান্সক্রিপ্ট পরীক্ষা করে এবং শুধুমাত্র যেখানে প্রয়োজন সেখানে উচ্চ ফ্রেম রেট এবং রেজোলিউশনে ভিজ্যুয়াল সেগমেন্টগুলি ডাইনামিকভাবে লোড করে। ছোট ক্লিপ (৫ মিনিটের কম) বা সম্পূর্ণ ভিডিওর সারসংক্ষেপের জন্য, দ্রুত টাইম টু ফার্স্ট টোকেন (TTFT) এবং কম টোকেন ওভারহেডের জন্য ডিফল্ট স্ট্যাটিক প্রসেসিং মোড
রাখুন। এজেন্টিক মোড টাইমলাইন নেভিগেশনের সময় ইন্টার্নাল রিজনিং (total_thought_tokens) এবং টুল রাউন্ড-ট্রিপ (total_tool_use_tokens) ব্যবহার করে।
Gemini 4 Argon, 3.8 Flash, 3.6 Flash বা 3.5 Flash Lite-এর সাথে এজেন্টিক প্রসেসিং ব্যবহার করতে,
আপনার ভিডিও ইনপুটে processing: "agentic" (Interactions API) বা
media_processing: "AGENTIC" (GenerateContent API) সেট করুন। মডেল
এজেন্টিক প্রসেসিং সাপোর্ট না করলে, এটি একটি এরর রিটার্ন করবে।
আরও তথ্যের জন্য, এজেন্টিক ভিডিও বোঝা দেখুন।