দীর্ঘ প্রসঙ্গ

অনেক Gemini মডেলে ১ মিলিয়ন বা তার বেশি টোকেনের বড় কন্টেক্সট উইন্ডো থাকে। ঐতিহাসিকভাবে, লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) উল্লেখযোগ্যভাবে সীমিত ছিল একবারে মডেলে পাস করা যেতে পারে এমন টেক্সটের (বা টোকেন) পরিমাণ দ্বারা। Gemini-এর দীর্ঘ কন্টেক্সট উইন্ডো অনেক নতুন ব্যবহারিক ক্ষেত্র ও ডেভেলপার প্যারাডাইম আনলক করে।

টেক্সট জেনারেট করা বা মাল্টিমোডাল ইনপুট-এর মতো ক্ষেত্রে আপনি আগে থেকে যে কোড ব্যবহার করেন, তা কোনও পরিবর্তন ছাড়াই দীর্ঘ কনটেক্সটের সাথে কাজ করবে।

১ মিলিয়ন বা তার বেশি টোকেনের কন্টেক্সট উইন্ডো সহ মডেল ব্যবহার করে আপনি কী কী করতে পারবেন, এই ডকুমেন্ট থেকে তার ওভারভিউ পাবেন। এই পৃষ্ঠায় কন্টেক্সট উইন্ডোর সংক্ষিপ্ত ওভারভিউ দেওয়া হয়েছে এবং কীভাবে ডেভেলপারদের দীর্ঘ কন্টেক্সট সম্পর্কে চিন্তা করা উচিত, দীর্ঘ কন্টেক্সটের জন্য বিভিন্ন বাস্তব-ভিত্তিক ব্যবহারের উদাহরণ এবং দীর্ঘ কন্টেক্সটের ব্যবহার অপ্টিমাইজ করার উপায় এক্সপ্লোর করা হয়েছে।

নির্দিষ্ট মডেলের কন্টেক্সট উইন্ডোর সাইজ জানতে, মডেল পৃষ্ঠা দেখুন।

কন্টেক্সট উইন্ডো কাকে বলে?

Gemini মডেল ব্যবহার করার প্রাথমিক পদ্ধতি হল, মডেলকে তথ্য (প্রসঙ্গ) প্রদান করা এবং এর ফলে মডেলটি একটি উত্তর জেনারেট করবে। কন্টেক্সট উইন্ডোর সাথে স্বল্পমেয়াদী স্মৃতির তুলনা করা যেতে পারে। কোনও ব্যক্তির স্বল্পমেয়াদী স্মৃতিতে সীমিত পরিমাণ তথ্যই স্টোর করা যায় এবং জেনারেটিভ মডেলের ক্ষেত্রেও একই কথা প্রযোজ্য।

Gemini 4-এ (gemini-4-argon), ১ মিলিয়ন টোকেন কনটেক্সট উইন্ডো ইনপুট, থিঙ্কিং ও আউটপুট টোকেন জুড়ে শেয়ার করা হয় এবং মডেলটি লং ডিকোড ব্যবহার করে সর্বাধিক ১ মিলিয়ন আউটপুট টোকেন জেনারেট করতে পারে। আপনার ইনপুট টোকেন এবং max_output_tokens-এর যোগফল 1,048,576 টোকেনের বেশি হলে, API অটোমেটিক আউটপুট সীমা কন্টেক্সট উইন্ডোর বাকি স্পেসে (1,048,576 থেকে আপনার ইনপুট টোকেন বিয়োগ করে) সীমাবদ্ধ করে দেয়। আগের Gemini 3 ও 2.5 মডেল আলাদা আলাদাভাবে ১ মিলিয়ন ইনপুট ও ৬৪ হাজার আউটপুট বাজেট ব্যবহার করে।

জেনারেটিভ মডেল গাইড থেকে মডেল কীভাবে কাজ করে সেই সম্পর্কে আরও জানতে পারবেন।

দীর্ঘ প্রসঙ্গ ব্যবহার শুরু করা

জেনারেটিভ মডেলের আগের ভার্সনগুলি একবারে মাত্র ৮,০০০ টোকেন প্রসেস করতে পারত। নতুন মডেলগুলি ৩২,০০০ বা এমনকি ১২৮,০০০ টোকেন গ্রহণ করে এটিকে আরও এগিয়ে নিয়ে গেছে। Gemini হল প্রথম মডেল যা ১ মিলিয়ন টোকেন গ্রহণ করতে পারে।

প্র্যাক্টিসে, ১০ লক্ষ টোকেন দেখতে এরকম হবে:

• ৫০,০০০ লাইনের কোড (প্রতি লাইনে স্ট্যান্ডার্ড ৮০টি অক্ষর সহ)
• গত ৫ বছরে আপনার পাঠানো সব টেক্সট মেসেজ
• ৮টি গড় দৈর্ঘ্যের ইংরেজি উপন্যাস
• গড় দৈর্ঘ্যের ২০০টির বেশি পডকাস্ট এপিসোডের ট্রান্সক্রিপ্ট

অন্যান্য অনেক মডেলে আরও সীমিত কন্টেক্সট উইন্ডো থাকে, তাই সেগুলিতে প্রায়শই পুরনো মেসেজ ইচ্ছামতো বাদ দেওয়া, কন্টেন্টের সারসংক্ষেপ করা, ভেক্টর ডেটাবেসের সাথে RAG ব্যবহার করা বা টোকেন বাঁচানোর জন্য প্রম্পট ফিল্টার করার মতো কৌশল ব্যবহার করতে হয়।

নির্দিষ্ট কিছু পরিস্থিতিতে এইসব কৌশল এখনও মূল্যবান হলেও, Gemini-এর অনেক বড় কন্টেক্সট উইন্ডো আরও সরাসরি পদ্ধতি ব্যবহার করার সুযোগ দেয়: প্রাসঙ্গিক সব তথ্য আগে থেকেই প্রদান করা। Gemini মডেলগুলি বিশাল কন্টেক্সট ক্ষমতার সাথে উদ্দেশ্য-নির্মিত হওয়ার কারণে, তারা শক্তিশালী ইন-কন্টেক্সট লার্নিং প্রদর্শন করে। যেমন, শুধুমাত্র ইন-কন্টেক্সট নির্দেশমূলক মেটেরিয়াল (৫০০ পৃষ্ঠার রেফারেন্স ব্যাকরণ, একটি অভিধান এবং ≈৪০০টি সমান্তরাল বাক্য) ব্যবহার করে, Gemini ইংরেজি থেকে কালামাং—একটি পাপুয়ান ভাষা যা ২০০ জনেরও কম লোক বলে—অনুবাদ করতে শিখেছে, যার কোয়ালিটি একই মেটেরিয়াল ব্যবহার করে একজন মানুষের শেখার মতোই। এটি Gemini-র দীর্ঘ কন্টেক্সটের মাধ্যমে সম্ভব হওয়া প্যারাডাইম শিফটের উদাহরণ, যা শক্তিশালী ইন-কন্টেক্সট লার্নিংয়ের মাধ্যমে নতুন সম্ভাবনাকে শক্তিশালী করে।

দীর্ঘ কন্টেক্সট ব্যবহারের উদাহরণ

বেশিরভাগ জেনারেটিভ মডেলের স্ট্যান্ডার্ড ব্যবহার এখনও টেক্সট ইনপুট হলেও, Gemini মডেল ফ্যামিলি মাল্টিমোডাল ব্যবহারের নতুন দৃষ্টান্ত স্থাপন করেছে। এই মডেলগুলি নেটিভভাবে টেক্সট, ভিডিও, অডিও এবং ছবি বুঝতে পারে। সুবিধার জন্য এগুলি Gemini API-এর সাথে থাকে যা মাল্টিমোডাল ফাইলের ধরন গ্রহণ করে।

বড় দৈর্ঘ্যের টেক্সট

LLM-এর চারপাশে যে গতিশীলতা রয়েছে তার বেশিরভাগের ভিত্তি হল টেক্সট। আগে উল্লেখ করা হয়েছে, LLM-এর বেশিরভাগ ব্যবহারিক সীমাবদ্ধতা ছিল কারণ নির্দিষ্ট টাস্ক করার জন্য যথেষ্ট বড় কন্টেক্সট উইন্ডো ছিল না। এর ফলে রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) এবং অন্যান্য টেকনিক দ্রুত গ্রহণ করা হয়েছে যা মডেলকে প্রাসঙ্গিক প্রাসঙ্গিক তথ্য ডাইনামিকভাবে প্রদান করে। এখন, আরও বড় কন্টেক্সট উইন্ডোর সাথে, নতুন টেকনিক উপলভ্য হচ্ছে যা নতুন নতুন ব্যবহারের ক্ষেত্র আনলক করছে।

টেক্সট-ভিত্তিক দীর্ঘ কন্টেক্সটের জন্য কিছু উদীয়মান এবং স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:

• টেক্সটের বড় কর্পাসের সারসংক্ষেপ তৈরি করা
  • ছোট কন্টেক্সট মডেল সহ আগের সারসংক্ষেপের বিকল্পগুলির জন্য স্লাইডিং উইন্ডো বা অন্য কোনও টেকনিকের প্রয়োজন হবে যাতে আগের বিভাগগুলির স্টেট মডেলকে নতুন টোকেন পাস করার সময় বজায় রাখা যায়
• প্রশ্ন ও উত্তর
  • ঐতিহাসিকভাবে, এটি শুধুমাত্র RAG-এর মাধ্যমে সম্ভব ছিল, কারণ কনটেক্সটের পরিমাণ সীমিত ছিল এবং মডেলের ফ্যাকচুয়াল রিকল কম ছিল
• এজেন্টিক ওয়ার্কফ্লো
  • এজেন্টরা কী করেছে এবং তাদের কী করতে হবে তার অবস্থা কীভাবে বজায় রাখে তার ভিত্তি হল টেক্সট; পৃথিবী এবং এজেন্টের লক্ষ্য সম্পর্কে পর্যাপ্ত তথ্য না থাকা এজেন্টের নির্ভরযোগ্যতার উপর একটি সীমাবদ্ধতা

মেনি-শট ইন-কনটেক্সট লার্নিং হল লং কনটেক্সট মডেলের মাধ্যমে আনলক করা সবচেয়ে অনন্য ক্ষমতার মধ্যে একটি। গবেষণায় দেখা গেছে যে সাধারণ "সিঙ্গেল শট" বা "মাল্টি-শট" উদাহরণ প্যারাডাইম, যেখানে মডেলকে কোনও টাস্কের এক বা একাধিক উদাহরণ দেখানো হয় এবং সেটিকে শত, সহস্র বা লক্ষাধিক উদাহরণে স্কেল আপ করা হয়, তা থেকে মডেলের নতুন ক্ষমতা তৈরি হতে পারে। এই 'মাল্টি-শট' পদ্ধতিটি নির্দিষ্ট টাস্কের জন্য ফাইন-টিউন করা মডেলের মতো পারফর্ম করে বলেও দেখা গেছে। যেসব ব্যবহারের ক্ষেত্রে প্রোডাকশন রোল-আউটের জন্য Gemini মডেলের পারফর্ম্যান্স এখনও যথেষ্ট নয়, সেখানে আপনি 'মেনি-শট' পদ্ধতি ব্যবহার করে দেখতে পারেন। আপনি পরে লং কনটেক্সট অপ্টিমাইজেশন বিভাগে এক্সপ্লোর করতে পারেন, কনটেক্সট ক্যাশিং এই ধরনের হাই ইনপুট টোকেন ওয়ার্কলোডকে অনেক বেশি অর্থনৈতিকভাবে সাশ্রয়ী করে তোলে এবং কিছু ক্ষেত্রে লেটেন্সি আরও কম করে।

বড় দৈর্ঘ্যের ভিডিও

ভিডিও কন্টেন্টের উপযোগিতা দীর্ঘদিন ধরে মাধ্যমের অ্যাক্সেসিবিলিটি না থাকার কারণে সীমাবদ্ধ ছিল। কন্টেন্ট স্কিম করা কঠিন ছিল, ট্রান্সক্রিপ্ট প্রায়ই ভিডিওর সূক্ষ্মতা ক্যাপচার করতে ব্যর্থ হয় এবং বেশিরভাগ টুল ছবি, টেক্সট ও অডিও একসাথে প্রসেস করে না। Gemini-র মাধ্যমে, দীর্ঘ-প্রসঙ্গ টেক্সট সংক্রান্ত ক্ষমতা, মাল্টিমোডাল ইনপুট সম্পর্কে যুক্তি দেওয়া এবং প্রশ্নের উত্তর দেওয়ার ক্ষমতায় অনূদিত হয়।

ভিডিওর দীর্ঘ কনটেক্সটের কিছু উদীয়মান এবং স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:

• ভিডিও প্রশ্ন ও উত্তর
• Google-এর Project Astra-তে দেখানো ভিডিও মেমরি
• ভিডিও ক্যাপশনিং
• ভিডিও সাজেশন সিস্টেম, নতুন মাল্টিমোডাল আন্ডারস্ট্যান্ডিংয়ের মাধ্যমে বর্তমান মেটাডেটা সমৃদ্ধ করে
• ডেটার কর্পাস ও সংশ্লিষ্ট ভিডিও মেটাডেটা দেখে ভিডিও কাস্টমাইজ করা এবং তারপর ভিডিওর সেইসব অংশ সরিয়ে দেওয়া যা দর্শকের কাছে প্রাসঙ্গিক নয়
• ভিডিও কন্টেন্ট মডারেশন
• রিয়েল-টাইম ভিডিও প্রসেসিং

ভিডিও নিয়ে কাজ করার সময়, ভিডিও কীভাবে টোকেনে প্রসেস করা হয় তা বিবেচনা করা গুরুত্বপূর্ণ, যা বিলিং ও ব্যবহারের সীমা প্রভাবিত করে। আপনি প্রম্পটিং গাইড থেকে ভিডিও ফাইল সহ প্রম্পটিং সম্পর্কে আরও জানতে পারবেন।

বড় দৈর্ঘ্যের অডিও

Gemini মডেলগুলি ছিল প্রথম নেটিভ মাল্টিমোডাল লার্জ ল্যাঙ্গুয়েজ মডেল যা অডিও বুঝতে পারে। ঐতিহাসিকভাবে, সাধারণ ডেভেলপার ওয়ার্কফ্লোতে অডিও প্রসেস করার জন্য একাধিক ডোমেন-নির্দিষ্ট মডেল, যেমন স্পিচ-টু-টেক্সট মডেল এবং টেক্সট-টু-টেক্সট মডেল একসাথে স্ট্রিং করা হয়। এর ফলে একাধিক রাউন্ড-ট্রিপ অনুরোধের জন্য অতিরিক্ত লেটেন্সি প্রয়োজন হয় এবং একাধিক মডেল সেট-আপের ডিসকানেক্টেড আর্কিটেকচারের কারণে পারফর্ম্যান্স কমে যায়।

অডিও কনটেক্সটের জন্য কিছু উদীয়মান এবং স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:

• রিয়েল-টাইম ট্রান্সক্রিপশন ও অনুবাদ
• পডকাস্ট / ভিডিও সংক্রান্ত প্রশ্ন ও উত্তর
• মিটিংয়ের ট্রান্সক্রিপশন ও সারসংক্ষেপ
• ভয়েস অ্যাসিস্ট্যান্ট

প্রম্পটিং গাইড থেকে অডিও ফাইলের মাধ্যমে প্রম্পট করা সম্পর্কে আরও জানতে পারবেন।

অনেক বড় প্রসঙ্গ অপ্টিমাইজেশন

দীর্ঘ কনটেক্সট ও Gemini মডেল নিয়ে কাজ করার সময় প্রাথমিক অপ্টিমাইজেশন হল কনটেক্সট ক্যাশিং ব্যবহার করা। আগে একটি অনুরোধে অনেক টোকেন প্রসেস করা অসম্ভব ছিল, তবে অন্য প্রধান সীমাবদ্ধতা ছিল খরচ। আপনার কাছে যদি "আপনার ডেটার সাথে চ্যাট করুন" অ্যাপ থাকে যেখানে কোনও ব্যবহারকারী ১০টি পিডিএফ, একটি ভিডিও এবং কিছু কাজের ডকুমেন্ট আপলোড করেন, তাহলে আপনাকে ঐতিহাসিকভাবে আরও জটিল রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) টুল / ফ্রেমওয়ার্কের সাথে কাজ করতে হবে যাতে এইসব অনুরোধ প্রসেস করা যায় এবং কন্টেক্সট উইন্ডোতে স্থানান্তরিত টোকেনের জন্য উল্লেখযোগ্য পরিমাণ অর্থ প্রদান করতে হয়। এখন, আপনি ব্যবহারকারীর আপলোড করা ফাইল ক্যাশে করতে পারবেন এবং প্রতি ঘণ্টার ভিত্তিতে সেগুলি স্টোর করার জন্য পেমেন্ট করতে পারবেন। উদাহরণস্বরূপ, Gemini Flash-এর মাধ্যমে প্রতিটি অনুরোধের জন্য ইনপুট / আউটপুট খরচ স্ট্যান্ডার্ড ইনপুট / আউটপুট খরচের চেয়ে ~৪ গুণ কম, তাই ব্যবহারকারী যদি তার ডেটা দিয়ে যথেষ্ট চ্যাট করেন, তাহলে ডেভেলপার হিসেবে আপনার জন্য এটি একটি বিশাল খরচ সাশ্রয় করে।

দীর্ঘ কন্টেক্সট সংক্রান্ত সীমাবদ্ধতা

এই গাইডের বিভিন্ন বিভাগে, আমরা আলোচনা করেছি যে কীভাবে Gemini মডেল বিভিন্ন নিডল-ইন-এ-হেইস্ট্যাক রিট্রিভাল ইভ্যাল জুড়ে হাই পারফর্ম্যান্স অর্জন করে। এই পরীক্ষাগুলি সবচেয়ে মৌলিক সেটআপ বিবেচনা করে, যেখানে আপনার কাছে একটি একক সূঁচ রয়েছে যা আপনি খুঁজছেন। এমন ক্ষেত্রে যেখানে আপনার কাছে একাধিক "নিডল" বা নির্দিষ্ট তথ্য থাকতে পারে যা আপনি খুঁজছেন, মডেলটি একই নির্ভুলতার সাথে কাজ করে না। প্রসঙ্গের উপর নির্ভর করে পারফর্ম্যান্সের ক্ষেত্রে অনেক পার্থক্য হতে পারে। এটি বিবেচনা করা গুরুত্বপূর্ণ কারণ সঠিক তথ্য সংগ্রহ করা এবং খরচের মধ্যে একটি অন্তর্নিহিত ট্রেডঅফ রয়েছে। আপনি একটি কোয়েরিতে ~৯৯% পেতে পারেন, কিন্তু প্রতিবার সেই কোয়েরি পাঠানোর সময় আপনাকে ইনপুট টোকেনের খরচ দিতে হবে। তাই, ১০০টি তথ্য পুনরুদ্ধার করার জন্য, আপনার যদি ৯৯% পারফর্ম্যান্সের প্রয়োজন হয়, তাহলে আপনাকে সম্ভবত ১০০টি অনুরোধ পাঠাতে হবে। এটি এমন একটি ভাল উদাহরণ যেখানে Gemini মডেল ব্যবহার করার সাথে যুক্ত খরচ কন্টেক্সট ক্যাশিং উল্লেখযোগ্যভাবে কমাতে পারে এবং একই সাথে পারফর্ম্যান্সও ভাল থাকে।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

কন্টেক্সট উইন্ডোতে আমার কোয়েরি লেখার সবচেয়ে ভালো জায়গা কোনটি?

বেশিরভাগ ক্ষেত্রে, বিশেষ করে যদি মোট প্রসঙ্গটি দীর্ঘ হয়, তাহলে আপনার কোয়েরি / প্রশ্নটি প্রম্পটের শেষে (অন্যান্য সমস্ত প্রসঙ্গের পরে) রাখলে মডেলের পারফর্ম্যান্স আরও ভালো হবে।

কোনও কোয়েরিতে আরও টোকেন যোগ করলে কি মডেলের পারফর্ম্যান্স কমে যায়?

সাধারণত, মডেলে টোকেন পাস করার প্রয়োজন না থাকলে, সেগুলি পাস না করাই ভাল। তবে, আপনার কাছে যদি কিছু তথ্য সহ টোকেনের একটি বড় অংশ থাকে এবং আপনি সেই তথ্য সম্পর্কে প্রশ্ন করতে চান, তাহলে মডেলটি সেই তথ্য বের করতে অত্যন্ত সক্ষম (অনেক ক্ষেত্রে ৯৯% পর্যন্ত নির্ভুলতা)।

দীর্ঘ-প্রসঙ্গ কোয়েরির ক্ষেত্রে আমি কীভাবে খরচ কমাতে পারি?

আপনার কাছে একই ধরনের টোকেন / কনটেক্সট থাকলে যা আপনি অনেকবার ব্যবহার করতে চান, তাহলে কনটেক্সট ক্যাশিং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করার সাথে সম্পর্কিত খরচ কমাতে সাহায্য করতে পারে।

কন্টেক্সটের দৈর্ঘ্য কি মডেলের লেটেন্সিকে প্রভাবিত করে?

যেকোনও অনুরোধের ক্ষেত্রে, সাইজ যাই হোক না কেন, কিছু নির্দিষ্ট পরিমাণ লেটেন্সি থাকে, তবে সাধারণত দীর্ঘ কোয়েরির ক্ষেত্রে লেটেন্সি বেশি হবে (প্রথম টোকেন পেতে সময়)।