অনেক Gemini মডেলে ১ মিলিয়ন বা তার বেশি টোকেনের বড় কন্টেক্সট উইন্ডো থাকে। আগে, লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) একবারে কতটা টেক্সট (বা টোকেন) প্রসেস করতে পারবে, তার উপর উল্লেখযোগ্য সীমাবদ্ধতা ছিল। Gemini-র দীর্ঘ কন্টেক্সট উইন্ডো অনেক নতুন ব্যবহারের কেস এবং ডেভেলপার প্যারাডাইম আনলক করে।
টেক্সট জেনারেট করা বা মাল্টিমোডাল ইনপুট-এর মতো ক্ষেত্রে আপনি আগে থেকে যে কোড ব্যবহার করেন, তা কোনও পরিবর্তন ছাড়াই দীর্ঘ কনটেক্সটের সাথে কাজ করবে।
১ মিলিয়ন বা তার বেশি টোকেনের কন্টেক্সট উইন্ডো সহ মডেল ব্যবহার করে আপনি কী কী করতে পারবেন, এই ডকুমেন্ট থেকে তার ওভারভিউ পাবেন। এই পৃষ্ঠায় কন্টেক্সট উইন্ডোর সংক্ষিপ্ত ওভারভিউ দেওয়া হয়েছে এবং কীভাবে ডেভেলপারদের দীর্ঘ কন্টেক্সট সম্পর্কে চিন্তা করা উচিত, দীর্ঘ কন্টেক্সটের জন্য বিভিন্ন বাস্তব-ভিত্তিক ব্যবহারের উদাহরণ এবং দীর্ঘ কন্টেক্সটের ব্যবহার অপ্টিমাইজ করার উপায় এক্সপ্লোর করা হয়েছে।
নির্দিষ্ট মডেলের কন্টেক্সট উইন্ডোর সাইজ জানতে, মডেল পৃষ্ঠা দেখুন।
কন্টেক্সট উইন্ডো কাকে বলে?
Gemini মডেল ব্যবহার করার প্রাথমিক উপায় হল মডেলে তথ্য (প্রসঙ্গ) পাঠানো, যা পরে একটি উত্তর তৈরি করবে। কনটেক্সট উইন্ডোর তুলনা স্বল্পমেয়াদী স্মৃতির সাথে করা যেতে পারে। কোনও ব্যক্তির স্বল্পমেয়াদী স্মৃতিতে সীমিত পরিমাণ তথ্যই স্টোর করা যায় এবং জেনারেটিভ মডেলের ক্ষেত্রেও একই কথা প্রযোজ্য।
Gemini 4-এ (gemini-4-argon), ১ মিলিয়ন টোকেন কনটেক্সট উইন্ডো ইনপুট, থিঙ্কিং ও আউটপুট টোকেন জুড়ে শেয়ার করা হয় এবং মডেলটি লং ডিকোড ব্যবহার করে সর্বাধিক ১ মিলিয়ন আউটপুট টোকেন জেনারেট করতে পারে। আপনার ইনপুট টোকেন এবং max_output_tokens-এর যোগফল 1,048,576 টোকেনের বেশি হলে, API অটোমেটিক আউটপুট সীমা কন্টেক্সট উইন্ডোর বাকি স্পেসে (1,048,576 থেকে আপনার ইনপুট টোকেন বিয়োগ করে) সীমাবদ্ধ করে দেয়। আগে Gemini 3 এবং 2.5 মডেল আলাদা আলাদা ১M ইনপুট এবং ৬৪K আউটপুট বাজেট ব্যবহার করত।
আমাদের জেনারেটিভ মডেল গাইড থেকে আপনি মডেল কীভাবে কাজ করে সেই সম্পর্কে আরও জানতে পারবেন।
অনেক বড় প্রসঙ্গ ব্যবহার শুরু করা
জেনারেটিভ মডেলের আগের ভার্সনগুলি একবারে মাত্র ৮,০০০ টোকেন প্রসেস করতে পারত। নতুন মডেলগুলি ৩২,০০০ বা এমনকি ১২৮,০০০ টোকেন গ্রহণ করে এই সীমা আরও বাড়িয়ে দিয়েছে। Gemini হল প্রথম মডেল যা ১ মিলিয়ন টোকেন গ্রহণ করতে পারে।
বাস্তবে, ১ মিলিয়ন টোকেন দেখতে কেমন হবে:
- ৫০,০০০ লাইনের কোড (প্রতি লাইনে স্ট্যান্ডার্ড ৮০টি অক্ষর সহ)
- গত ৫ বছরে আপনার পাঠানো সব টেক্সট মেসেজ
- ৮টি গড় দৈর্ঘ্যের ইংরেজি উপন্যাস
- গড় দৈর্ঘ্যের ২০০টির বেশি পডকাস্ট এপিসোডের ট্রান্সক্রিপ্ট
অন্যান্য অনেক মডেলে সাধারণত আরও সীমিত কনটেক্সট উইন্ডো থাকে। এর জন্য টোকেন সেভ করতে পুরনো মেসেজ বাদ দেওয়া, কন্টেন্টের সারসংক্ষেপ করা, ভেক্টর ডেটাবেসের সাথে RAG ব্যবহার করা বা প্রম্পট ফিল্টার করার মতো কৌশল প্রয়োজন হয়।
নির্দিষ্ট কিছু পরিস্থিতিতে এইসব কৌশল এখনও মূল্যবান হলেও, Gemini-এর অনেক বড় কন্টেক্সট উইন্ডো আরও সরাসরি পদ্ধতি ব্যবহার করার সুযোগ দেয়: প্রাসঙ্গিক সব তথ্য আগে থেকেই প্রদান করা। Gemini মডেলগুলি যেহেতু বিশাল কন্টেক্সট ক্ষমতা সহ বিশেষ উদ্দেশ্যে তৈরি করা হয়েছে, তাই সেগুলি শক্তিশালী ইন-কন্টেক্সট লার্নিং প্রদর্শন করে। যেমন, শুধুমাত্র ইন-কন্টেক্সট নির্দেশমূলক মেটেরিয়াল (৫০০ পৃষ্ঠার রেফারেন্স ব্যাকরণ, একটি অভিধান এবং ≈৪০০টি সমান্তরাল বাক্য) ব্যবহার করে, Gemini ইংরেজি থেকে কালামাং—একটি পাপুয়ান ভাষা যা ২০০ জনেরও কম লোক বলে—অনুবাদ করতে শিখেছে, যার কোয়ালিটি একই মেটেরিয়াল ব্যবহার করে একজন মানুষের শেখার মতোই। এটি Gemini-র দীর্ঘ কন্টেক্সটের মাধ্যমে হওয়া প্যারাডাইম শিফ্টকে তুলে ধরে, যা শক্তিশালী ইন-কন্টেক্সট লার্নিংয়ের মাধ্যমে নতুন সম্ভাবনার জন্ম দেয়।
দীর্ঘ কন্টেক্সট ব্যবহারের উদাহরণ
বেশিরভাগ জেনারেটিভ মডেলের স্ট্যান্ডার্ড ব্যবহার এখনও টেক্সট ইনপুট হলেও, Gemini মডেল ফ্যামিলি মাল্টিমোডাল ব্যবহারের নতুন দৃষ্টান্ত স্থাপন করেছে। এই মডেলগুলি নেটিভভাবে টেক্সট, ভিডিও, অডিও এবং ছবি বুঝতে পারে। সুবিধার জন্য এগুলি Gemini API-এর সাথে থাকে যা মাল্টিমোডাল ফাইলের ধরন গ্রহণ করে।
বড় ফর্মের টেক্সট
টেক্সটকে LLM-এর চারপাশের অনেক কিছুর মোমেন্টামের অন্তর্নিহিত বুদ্ধিমত্তার স্তর হিসেবে প্রমাণ করা হয়েছে। আগে উল্লেখ করা হয়েছে, LLM-এর বেশিরভাগ ব্যবহারিক সীমাবদ্ধতা ছিল কারণ নির্দিষ্ট টাস্ক করার জন্য যথেষ্ট বড় কন্টেক্সট উইন্ডো ছিল না। এর ফলে রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) এবং অন্যান্য টেকনিক দ্রুত গ্রহণ করা হয়েছে যা মডেলকে প্রাসঙ্গিক প্রাসঙ্গিক তথ্য ডাইনামিকভাবে প্রদান করে। এখন, আরও বড় কন্টেক্সট উইন্ডোর মাধ্যমে, নতুন টেকনিক উপলভ্য হচ্ছে যা নতুন ব্যবহারের সুযোগ আনলক করে।
টেক্সট-ভিত্তিক দীর্ঘ কন্টেক্সটের জন্য কিছু উদীয়মান এবং স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- টেক্সটের বড় কর্পাসকে সংক্ষিপ্ত করা
- ছোট কন্টেক্সট মডেল সহ আগের সারসংক্ষেপের বিকল্পগুলির জন্য স্লাইডিং উইন্ডো বা অন্য কোনও টেকনিকের প্রয়োজন হবে যাতে আগের বিভাগগুলির স্টেট মডেলকে নতুন টোকেন পাস করার সময় বজায় রাখা যায়
- প্রশ্ন ও উত্তর
- ঐতিহাসিকভাবে, এটি শুধুমাত্র RAG-এর মাধ্যমে সম্ভব ছিল, কারণ কনটেক্সটের পরিমাণ সীমিত ছিল এবং মডেলের ফ্যাকচুয়াল রিকল কম ছিল
- এজেন্টিক ওয়ার্কফ্লো
- এজেন্টরা কী করেছে এবং তাদের কী করতে হবে তার অবস্থা কীভাবে বজায় রাখে তার ভিত্তি হল টেক্সট; পৃথিবী এবং এজেন্টের লক্ষ্য সম্পর্কে পর্যাপ্ত তথ্য না থাকা এজেন্টের নির্ভরযোগ্যতার উপর একটি সীমাবদ্ধতা
মেনি-শট ইন-কনটেক্সট লার্নিং হল লং কনটেক্সট মডেলের মাধ্যমে আনলক করা সবচেয়ে অনন্য ক্ষমতার মধ্যে একটি। গবেষণায় দেখা গেছে যে সাধারণ "সিঙ্গেল শট" বা "মাল্টি-শট" উদাহরণ প্যারাডাইম, যেখানে মডেলকে কোনও টাস্কের এক বা একাধিক উদাহরণ দেখানো হয় এবং সেটিকে শত, সহস্র বা লক্ষাধিক উদাহরণে স্কেল আপ করা হয়, তা থেকে মডেলের নতুন ক্ষমতা তৈরি হতে পারে। এই মেনি-শট পদ্ধতিটি নির্দিষ্ট টাস্কের জন্য ফাইন-টিউন করা মডেলের মতোই পারফর্ম করে বলে দেখা গেছে। এমন ব্যবহারের ক্ষেত্রে যেখানে Gemini মডেলের পারফর্ম্যান্স এখনও প্রোডাকশন রোলআউটের জন্য যথেষ্ট নয়, সেখানে আপনি 'মেনি-শট' পদ্ধতি ব্যবহার করে দেখতে পারেন। আপনি হয়ত পরে দীর্ঘ কনটেক্সট অপ্টিমাইজেশন বিভাগে এক্সপ্লোর করবেন, কনটেক্সট ক্যাশিং এই ধরনের হাই ইনপুট টোকেন ওয়ার্কলোডকে অনেক বেশি সাশ্রয়ী করে তোলে এবং এমনকি কিছু ক্ষেত্রে লেটেন্সিও কম হয়।
বড় দৈর্ঘ্যের ভিডিও
ভিডিও কন্টেন্টের উপযোগিতা দীর্ঘদিন ধরে সীমাবদ্ধ ছিল কারণ এই মাধ্যমটি অ্যাক্সেসযোগ্য ছিল না। কন্টেন্ট স্কিম করা কঠিন ছিল, ট্রান্সক্রিপ্ট প্রায়ই ভিডিওর সূক্ষ্মতা ক্যাপচার করতে ব্যর্থ হয় এবং বেশিরভাগ টুল ছবি, টেক্সট ও অডিও একসাথে প্রসেস করে না। Gemini-র মাধ্যমে, দীর্ঘ-প্রসঙ্গ টেক্সট সংক্রান্ত ক্ষমতা, মাল্টিমোডাল ইনপুট সম্পর্কে যুক্তি দেওয়া এবং প্রশ্নের উত্তর দেওয়ার ক্ষমতায় অনূদিত হয়।
ভিডিওর ক্ষেত্রে লং কনটেক্সটের কিছু উদীয়মান ও স্ট্যান্ডার্ড ব্যবহার নিচে দেওয়া হল:
- ভিডিও প্রশ্ন ও উত্তর
- ভিডিও মেমরি, যেমন Google-এর Project Astra-তে দেখানো হয়েছে
- ভিডিও ক্যাপশনিং
- ভিডিও সাজেশন সিস্টেম, নতুন মাল্টিমোডাল আন্ডারস্ট্যান্ডিংয়ের মাধ্যমে বর্তমান মেটাডেটা সমৃদ্ধ করে
- ভিডিও কাস্টমাইজেশন, ডেটার কর্পাস এবং সংশ্লিষ্ট ভিডিও মেটাডেটা দেখে এবং তারপরে ভিডিওর যে অংশগুলি দর্শকের জন্য প্রাসঙ্গিক নয় সেগুলি সরিয়ে দেওয়া
- ভিডিও কন্টেন্ট মডারেশন
- রিয়েল-টাইম ভিডিও প্রসেসিং
ভিডিও নিয়ে কাজ করার সময়, ভিডিও কীভাবে টোকেনে প্রসেস করা হয় তা বিবেচনা করা গুরুত্বপূর্ণ, যা বিলিং ও ব্যবহারের সীমা প্রভাবিত করে। আপনি প্রম্পটিং গাইড থেকে ভিডিও ফাইল সহ প্রম্পটিং সম্পর্কে আরও জানতে পারবেন।
বড় দৈর্ঘ্যের অডিও
Gemini মডেলগুলি ছিল প্রথম নেটিভ মাল্টিমোডাল লার্জ ল্যাঙ্গুয়েজ মডেল যা অডিও বুঝতে পারে। ঐতিহাসিকভাবে, সাধারণ ডেভেলপার ওয়ার্কফ্লোতে অডিও প্রসেস করার জন্য একাধিক ডোমেন-নির্দিষ্ট মডেল, যেমন স্পিচ-টু-টেক্সট মডেল এবং টেক্সট-টু-টেক্সট মডেল একসাথে স্ট্রিং করা হয়। এর ফলে একাধিক রাউন্ড-ট্রিপ অনুরোধের জন্য অতিরিক্ত লেটেন্সি প্রয়োজন হয় এবং একাধিক মডেল সেট-আপের ডিসকানেক্টেড আর্কিটেকচারের কারণে পারফর্ম্যান্স কমে যায়।
অডিও কনটেক্সটের জন্য কিছু উদীয়মান এবং স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- রিয়েল-টাইম ট্রান্সক্রিপশন ও অনুবাদ
- পডকাস্ট / ভিডিও সংক্রান্ত প্রশ্ন ও উত্তর
- মিটিং ট্রান্সক্রিপশন ও সারসংক্ষেপ
- ভয়েস অ্যাসিস্ট্যান্ট
প্রম্পটিং গাইড থেকে অডিও ফাইলের মাধ্যমে প্রম্পট করা সম্পর্কে আরও জানতে পারবেন।
দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশন
দীর্ঘ কনটেক্সট ও Gemini মডেল নিয়ে কাজ করার সময় প্রাথমিক অপ্টিমাইজেশন হল কনটেক্সট ক্যাশিং ব্যবহার করা। আগে একটি অনুরোধে অনেক টোকেন প্রসেস করা অসম্ভব ছিল, তবে অন্য প্রধান সীমাবদ্ধতা ছিল খরচ। আপনার কাছে যদি "আপনার ডেটার সাথে চ্যাট করুন" অ্যাপ থাকে যেখানে কোনও ব্যবহারকারী ১০টি পিডিএফ, একটি ভিডিও এবং কিছু কাজের ডকুমেন্ট আপলোড করেন, তাহলে আপনাকে ঐতিহাসিকভাবে আরও জটিল রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) টুল / ফ্রেমওয়ার্কের সাথে কাজ করতে হবে যাতে এইসব অনুরোধ প্রসেস করা যায় এবং কন্টেক্সট উইন্ডোতে স্থানান্তরিত টোকেনের জন্য উল্লেখযোগ্য পরিমাণ অর্থ প্রদান করতে হয়। এখন, আপনি ব্যবহারকারীর আপলোড করা ফাইল ক্যাশে করতে পারবেন এবং প্রতি ঘণ্টার ভিত্তিতে সেগুলি স্টোর করার জন্য পেমেন্ট করতে পারবেন। Gemini Flash-এর ক্ষেত্রে, ইনপুট / আউটপুট পিছু খরচ, স্ট্যান্ডার্ড ইনপুট / আউটপুট খরচের তুলনায় ~৪ গুণ কম হয়। তাই, ব্যবহারকারী যদি তার ডেটা নিয়ে যথেষ্ট চ্যাট করেন, তাহলে ডেভেলপার হিসেবে আপনার খরচ অনেক কমে যায়।
দীর্ঘ কনটেক্সট সংক্রান্ত সীমাবদ্ধতা
এই গাইডের বিভিন্ন বিভাগে, আমরা আলোচনা করেছি যে কীভাবে Gemini মডেল বিভিন্ন নিডল-ইন-এ-হেইস্ট্যাক রিট্রিভাল ইভ্যাল জুড়ে হাই পারফর্ম্যান্স অর্জন করে। এই পরীক্ষাগুলি সবচেয়ে মৌলিক সেটআপ বিবেচনা করে, যেখানে আপনার কাছে একটি একক সূঁচ রয়েছে যা আপনি খুঁজছেন। এমন ক্ষেত্রে যেখানে আপনার কাছে একাধিক "নিডল" বা নির্দিষ্ট তথ্য থাকতে পারে যা আপনি খুঁজছেন, মডেলটি একই নির্ভুলতার সাথে কাজ করে না। প্রসঙ্গের উপর নির্ভর করে পারফর্ম্যান্সের ক্ষেত্রে অনেক পার্থক্য হতে পারে। এটি বিবেচনা করা গুরুত্বপূর্ণ কারণ সঠিক তথ্য সংগ্রহ করা এবং খরচের মধ্যে একটি অন্তর্নিহিত ট্রেডঅফ রয়েছে। আপনি একটি কোয়েরিতে ~৯৯% সঠিক উত্তর পেতে পারেন, কিন্তু প্রতিবার সেই কোয়েরি পাঠানোর জন্য আপনাকে ইনপুট টোকেনের খরচ দিতে হবে। তাই ১০০টি তথ্য ফিরিয়ে আনার জন্য, আপনার যদি ৯৯% পারফর্ম্যান্সের প্রয়োজন হয়, তাহলে আপনাকে সম্ভবত ১০০টি অনুরোধ পাঠাতে হবে। এটি এমন একটি ভাল উদাহরণ যেখানে Gemini মডেল ব্যবহার করার সাথে যুক্ত খরচ কন্টেক্সট ক্যাশিং উল্লেখযোগ্যভাবে কমাতে পারে এবং একই সাথে পারফর্ম্যান্সও ভাল থাকে।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
কন্টেক্সট উইন্ডোতে কোয়েরি লেখার সবচেয়ে ভালো জায়গা কোনটি?
বেশিরভাগ ক্ষেত্রে, বিশেষ করে যদি মোট প্রসঙ্গ দীর্ঘ হয়, তাহলে আপনি প্রম্পটের শেষে (অন্য সব প্রসঙ্গের পরে) আপনার কোয়েরি / প্রশ্ন রাখলে মডেলের পারফর্ম্যান্স আরও ভালো হবে।
কোয়েরিতে আরও টোকেন যোগ করলে কি মডেলের পারফর্ম্যান্স কমে যায়?
সাধারণত, মডেলের কাছে টোকেন পাস করার প্রয়োজন না থাকলে, সেগুলি পাস না করাই ভাল। তবে, আপনার কাছে যদি কিছু তথ্য সহ টোকেনের একটি বড় অংশ থাকে এবং আপনি সেই তথ্য সম্পর্কে প্রশ্ন করতে চান, তাহলে মডেলটি সেই তথ্য বের করতে অত্যন্ত সক্ষম (অনেক ক্ষেত্রে ৯৯% পর্যন্ত নির্ভুলতা)।
দীর্ঘ-প্রসঙ্গ কোয়েরির ক্ষেত্রে আমি কীভাবে খরচ কমাতে পারি?
আপনার কাছে যদি একই ধরনের টোকেন / কনটেক্সট থাকে যা আপনি অনেকবার পুনর্ব্যবহার করতে চান, তাহলে কনটেক্সট ক্যাশিং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করার সাথে যুক্ত খরচ কমাতে সাহায্য করতে পারে।
Does the context length affect the model latency?
যেকোনও অনুরোধে কিছু নির্দিষ্ট পরিমাণ লেটেন্সি থাকে, সেটির সাইজ যাই হোক না কেন, তবে সাধারণত বড় কোয়েরিতে বেশি লেটেন্সি (প্রথম টোকেন পেতে লাগা সময়) থাকে।