অনেক জেমিনি মডেল 1 মিলিয়ন বা তার বেশি টোকেনের বড় কনটেক্সট উইন্ডোর সাথে আসে। ঐতিহাসিকভাবে, বৃহৎ ভাষার মডেলগুলি (LLMs) উল্লেখযোগ্যভাবে পাঠ্যের পরিমাণ (বা টোকেন) দ্বারা সীমিত ছিল যা এক সময়ে মডেলে প্রেরণ করা যেতে পারে। জেমিনি দীর্ঘ প্রসঙ্গ উইন্ডোটি অনেক নতুন ব্যবহারের ক্ষেত্রে এবং বিকাশকারী দৃষ্টান্তগুলিকে আনলক করে।
আপনি ইতিমধ্যে টেক্সট জেনারেশন বা মাল্টিমডাল ইনপুটগুলির মতো ক্ষেত্রে যে কোডটি ব্যবহার করেন তা দীর্ঘ প্রসঙ্গের সাথে কোনও পরিবর্তন ছাড়াই কাজ করবে।
এই নথিটি আপনাকে 1M এবং আরও টোকেনের প্রসঙ্গ উইন্ডো সহ মডেলগুলি ব্যবহার করে আপনি কী অর্জন করতে পারেন তার একটি ওভারভিউ দেয়৷ পৃষ্ঠাটি একটি প্রসঙ্গ উইন্ডোর একটি সংক্ষিপ্ত ওভারভিউ দেয়, এবং কীভাবে ডেভেলপারদের দীর্ঘ প্রসঙ্গ, দীর্ঘ প্রসঙ্গের জন্য বিভিন্ন বাস্তব বিশ্বের ব্যবহারের ক্ষেত্রে এবং দীর্ঘ প্রসঙ্গ ব্যবহারকে অপ্টিমাইজ করার উপায়গুলি সম্পর্কে চিন্তা করা উচিত তা অন্বেষণ করে৷
নির্দিষ্ট মডেলের প্রসঙ্গ উইন্ডো আকারের জন্য, মডেল পৃষ্ঠাটি দেখুন।
একটি প্রসঙ্গ উইন্ডো কি?
আপনি মিথুন মডেলগুলি ব্যবহার করার প্রাথমিক উপায় হল মডেলটিতে তথ্য (প্রসঙ্গ) প্রেরণ করা, যা পরবর্তীতে একটি প্রতিক্রিয়া তৈরি করবে। প্রসঙ্গ উইন্ডোর জন্য একটি সাদৃশ্য হল স্বল্পমেয়াদী মেমরি। একটি সীমিত পরিমাণ তথ্য রয়েছে যা কারও স্বল্পমেয়াদী স্মৃতিতে সংরক্ষণ করা যেতে পারে এবং এটি জেনারেটিভ মডেলের ক্ষেত্রেও সত্য।
আপনি আমাদের জেনারেটিভ মডেল গাইডে মডেলগুলি কীভাবে কাজ করে সে সম্পর্কে আরও পড়তে পারেন।
দীর্ঘ প্রসঙ্গ দিয়ে শুরু করা
জেনারেটিভ মডেলের পূর্ববর্তী সংস্করণগুলি একবারে 8,000 টোকেন প্রক্রিয়া করতে সক্ষম ছিল। নতুন মডেলগুলি 32,000 বা এমনকি 128,000 টোকেন গ্রহণ করে এটিকে আরও এগিয়ে নিয়ে গেছে। জেমিনি হল প্রথম মডেল যা 1 মিলিয়ন টোকেন গ্রহণ করতে সক্ষম।
অনুশীলনে, 1 মিলিয়ন টোকেন দেখতে এরকম হবে:
- কোডের 50,000 লাইন (প্রতি লাইনে আদর্শ 80 অক্ষর সহ)
- গত ৫ বছরে আপনার পাঠানো সমস্ত টেক্সট মেসেজ
- 8টি গড় দৈর্ঘ্যের ইংরেজি উপন্যাস
- 200 টিরও বেশি গড় দৈর্ঘ্যের পডকাস্ট পর্বের প্রতিলিপি
অন্যান্য অনেক মডেলে প্রচলিত আরও সীমিত প্রসঙ্গ উইন্ডোতে প্রায়ই কৌশলের প্রয়োজন হয় যেমন ইচ্ছাকৃতভাবে পুরানো বার্তা বাদ দেওয়া, বিষয়বস্তু সংক্ষিপ্ত করা, ভেক্টর ডাটাবেসের সাথে RAG ব্যবহার করা, বা টোকেনগুলি সংরক্ষণ করার জন্য প্রম্পট ফিল্টার করা।
যদিও এই কৌশলগুলি নির্দিষ্ট পরিস্থিতিতে মূল্যবান থাকে, মিথুনের বিস্তৃত প্রসঙ্গ উইন্ডোটি আরও সরাসরি পদ্ধতির আমন্ত্রণ জানায়: সমস্ত প্রাসঙ্গিক তথ্য আগাম প্রদান করে। যেহেতু জেমিনি মডেলগুলি বিশাল প্রসঙ্গ ক্ষমতার সাথে উদ্দেশ্য-নির্মিত ছিল, তাই তারা শক্তিশালী ইন-প্রেক্ষাপট শেখার প্রদর্শন করে। উদাহরণস্বরূপ, শুধুমাত্র প্রেক্ষাপটে নির্দেশনামূলক উপকরণ ব্যবহার করে (একটি 500-পৃষ্ঠার রেফারেন্স ব্যাকরণ, একটি অভিধান, এবং ≈400 সমান্তরাল বাক্য), জেমিনি ইংরেজি থেকে কালামাং-এ 200 টিরও কম স্পীকার সহ একটি পাপুয়ান ভাষা-তে অনুবাদ করতে শিখেছে যা একই উপকরণ ব্যবহার করে একজন মানবশিক্ষকের মতো গুণমান। এটি মিথুনের দীর্ঘ প্রসঙ্গ দ্বারা সক্ষম দৃষ্টান্ত পরিবর্তনকে চিত্রিত করে, শক্তিশালী ইন-প্রেক্ষাপট শিক্ষার মাধ্যমে নতুন সম্ভাবনাকে শক্তিশালী করে।
দীর্ঘ প্রসঙ্গ ব্যবহার ক্ষেত্রে
যদিও বেশিরভাগ জেনারেটিভ মডেলের জন্য স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে এখনও টেক্সট ইনপুট, জেমিনি মডেল পরিবার মাল্টিমডাল ব্যবহারের ক্ষেত্রে একটি নতুন দৃষ্টান্ত সক্ষম করে। এই মডেলগুলি নেটিভলি টেক্সট, ভিডিও, অডিও এবং ইমেজ বুঝতে পারে। তাদের সাথে রয়েছে Gemini API যা সুবিধার জন্য মাল্টিমোডাল ফাইলের ধরন নেয় ।
দীর্ঘ ফর্ম পাঠ্য
টেক্সট বুদ্ধিমত্তার স্তর হিসেবে প্রমাণিত হয়েছে যা এলএলএম-এর আশেপাশে গতির বেশিরভাগ অংশকে ভিত্তি করে। আগেই উল্লেখ করা হয়েছে, এলএলএম-এর ব্যবহারিক সীমাবদ্ধতার বেশিরভাগই ছিল নির্দিষ্ট কাজ করার জন্য যথেষ্ট বড় প্রসঙ্গ উইন্ডো না থাকার কারণে। এটি পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) এবং অন্যান্য কৌশলগুলির দ্রুত গ্রহণের দিকে পরিচালিত করে যা গতিশীলভাবে মডেলটিকে প্রাসঙ্গিক প্রাসঙ্গিক তথ্য সরবরাহ করে। এখন, বৃহত্তর এবং বৃহত্তর প্রসঙ্গ উইন্ডোগুলির সাথে, নতুন কৌশল উপলব্ধ হচ্ছে যা নতুন ব্যবহারের ক্ষেত্রে আনলক করে।
পাঠ্য ভিত্তিক দীর্ঘ প্রেক্ষাপটের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- টেক্সট বড় কার্পাস সারসংক্ষেপ
- ছোট প্রসঙ্গ মডেল সহ পূর্ববর্তী সংক্ষিপ্তকরণ বিকল্পগুলির জন্য একটি স্লাইডিং উইন্ডো বা পূর্ববর্তী বিভাগগুলির অবস্থা বজায় রাখার জন্য অন্য কৌশলের প্রয়োজন হবে কারণ নতুন টোকেনগুলি মডেলে প্রেরণ করা হয়
- প্রশ্ন এবং উত্তর
- ঐতিহাসিকভাবে এটি শুধুমাত্র RAG-এর মাধ্যমেই সম্ভব হয়েছিল সীমিত পরিমাণ প্রসঙ্গ এবং মডেলের বাস্তবিক স্মরণ কম থাকায়
- এজেন্টিক কর্মপ্রবাহ
- টেক্সট হল এজেন্টরা কীভাবে তারা কী করেছে এবং তাদের কী করা দরকার তার অবস্থা রাখে তার ভিত্তি; বিশ্ব এবং এজেন্টের লক্ষ্য সম্পর্কে পর্যাপ্ত তথ্য না থাকা এজেন্টদের নির্ভরযোগ্যতার একটি সীমাবদ্ধতা
বহু-শট ইন-কনটেক্সট লার্নিং হল দীর্ঘ প্রসঙ্গ মডেল দ্বারা আনলক করা সবচেয়ে অনন্য ক্ষমতাগুলির মধ্যে একটি। গবেষণায় দেখা গেছে যে সাধারণ "একক শট" বা "মাল্টি-শট" উদাহরণের দৃষ্টান্ত গ্রহণ করা, যেখানে মডেলটিকে একটি কাজের এক বা কয়েকটি উদাহরণ সহ উপস্থাপন করা হয় এবং এটিকে শত, হাজার বা এমনকি কয়েক হাজার উদাহরণ পর্যন্ত স্কেল করা অভিনব মডেলের ক্ষমতার দিকে নিয়ে যেতে পারে। এই বহু-শট পদ্ধতিটি মডেলগুলির অনুরূপভাবে কাজ করতেও দেখানো হয়েছে যেগুলি একটি নির্দিষ্ট কাজের জন্য সূক্ষ্ম সুর করা হয়েছিল। ব্যবহারের ক্ষেত্রে যেখানে মিথুন মডেলের কর্মক্ষমতা এখনও প্রোডাকশন রোলআউটের জন্য যথেষ্ট নয়, আপনি বহু-শট পদ্ধতির চেষ্টা করতে পারেন। আপনি যেমন দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশান বিভাগে পরে অন্বেষণ করতে পারেন, প্রসঙ্গ ক্যাশিং এই ধরনের উচ্চ ইনপুট টোকেন কাজের চাপকে অনেক বেশি অর্থনৈতিকভাবে সম্ভাব্য এবং এমনকি কিছু ক্ষেত্রে কম বিলম্বিত করে তোলে।
দীর্ঘ ফর্ম ভিডিও
ভিডিও বিষয়বস্তুর ইউটিলিটি দীর্ঘদিন ধরে মাধ্যমটির অ্যাক্সেসযোগ্যতার অভাব দ্বারা সীমাবদ্ধ। বিষয়বস্তু স্কিম করা কঠিন ছিল, প্রতিলিপিগুলি প্রায়শই একটি ভিডিওর সূক্ষ্মতা ধরতে ব্যর্থ হয় এবং বেশিরভাগ সরঞ্জামগুলি চিত্র, পাঠ্য এবং অডিও একসাথে প্রক্রিয়া করে না। মিথুনের সাথে, দীর্ঘ-প্রসঙ্গ পাঠের ক্ষমতাগুলি টেকসই কর্মক্ষমতা সহ মাল্টিমডাল ইনপুট সম্পর্কে যুক্তি এবং প্রশ্নের উত্তর দেওয়ার ক্ষমতাতে অনুবাদ করে।
ভিডিও দীর্ঘ প্রসঙ্গের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- ভিডিও প্রশ্ন এবং উত্তর
- ভিডিও মেমরি, যেমনটি Google এর প্রজেক্ট অ্যাস্ট্রার সাথে দেখানো হয়েছে
- ভিডিও ক্যাপশনিং
- নতুন মাল্টিমডাল বোঝাপড়ার সাথে বিদ্যমান মেটাডেটা সমৃদ্ধ করে ভিডিও সুপারিশ সিস্টেম
- ভিডিও কাস্টমাইজেশন, ডেটা এবং সংশ্লিষ্ট ভিডিও মেটাডেটার একটি কর্পাস দেখে এবং তারপর ভিডিওর অংশগুলি সরিয়ে যা দর্শকের সাথে প্রাসঙ্গিক নয়
- ভিডিও বিষয়বস্তু সংযম
- রিয়েল-টাইম ভিডিও প্রক্রিয়াকরণ
ভিডিওগুলির সাথে কাজ করার সময়, ভিডিওগুলিকে কীভাবে টোকেনে প্রক্রিয়া করা হয় তা বিবেচনা করা গুরুত্বপূর্ণ, যা বিলিং এবং ব্যবহারের সীমাকে প্রভাবিত করে৷ আপনি প্রম্পটিং গাইডে ভিডিও ফাইলের সাথে প্রম্পট করার বিষয়ে আরও জানতে পারেন।
দীর্ঘ ফর্ম অডিও
জেমিনি মডেলগুলি ছিল প্রথম স্থানীয় মাল্টিমোডাল বৃহৎ ভাষার মডেল যা অডিও বুঝতে পারে। ঐতিহাসিকভাবে, সাধারণ বিকাশকারী কর্মপ্রবাহে অডিও প্রক্রিয়া করার জন্য একাধিক ডোমেন নির্দিষ্ট মডেল, যেমন একটি স্পিচ-টু-টেক্সট মডেল এবং একটি টেক্সট-টু-টেক্সট মডেলকে একত্রিত করা জড়িত। এটি একাধিক রাউন্ড-ট্রিপ অনুরোধ সম্পাদন করার জন্য প্রয়োজনীয় অতিরিক্ত বিলম্বের দিকে পরিচালিত করে এবং কার্যক্ষমতা হ্রাস করে যা সাধারণত একাধিক মডেল সেটআপের সংযোগ বিচ্ছিন্ন আর্কিটেকচারের জন্য দায়ী করা হয়।
অডিও প্রসঙ্গের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- রিয়েল-টাইম প্রতিলিপি এবং অনুবাদ
- পডকাস্ট / ভিডিও প্রশ্ন এবং উত্তর
- মিটিং প্রতিলিপি এবং সারসংক্ষেপ
- ভয়েস সহকারী
আপনি প্রম্পটিং গাইডে অডিও ফাইলের সাথে প্রম্পটিং সম্পর্কে আরও জানতে পারেন।
দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশান
দীর্ঘ প্রসঙ্গ এবং জেমিনি মডেলগুলির সাথে কাজ করার সময় প্রাথমিক অপ্টিমাইজেশন হল প্রসঙ্গ ক্যাশিং ব্যবহার করা। একটি একক অনুরোধে প্রচুর টোকেন প্রক্রিয়াকরণের পূর্ববর্তী অসম্ভবতার বাইরে, অন্য প্রধান সীমাবদ্ধতা ছিল খরচ। যদি আপনার কাছে একটি "আপনার ডেটার সাথে চ্যাট" অ্যাপ থাকে যেখানে একজন ব্যবহারকারী 10টি পিডিএফ, একটি ভিডিও এবং কিছু কাজের নথি আপলোড করে, তাহলে এই অনুরোধগুলি প্রক্রিয়া করার জন্য আপনাকে ঐতিহাসিকভাবে আরও জটিল পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) টুল/ফ্রেমওয়ার্কের সাথে কাজ করতে হবে এবং প্রসঙ্গ উইন্ডোতে স্থানান্তরিত টোকেনের জন্য উল্লেখযোগ্য পরিমাণ অর্থ প্রদান করতে হবে৷ এখন, আপনি ব্যবহারকারীর আপলোড করা ফাইলগুলি ক্যাশে করতে পারেন এবং প্রতি ঘন্টার ভিত্তিতে সেগুলি সংরক্ষণ করার জন্য অর্থ প্রদান করতে পারেন। উদাহরণস্বরূপ জেমিনি ফ্ল্যাশ-এর সাথে অনুরোধ প্রতি ইনপুট/আউটপুট খরচ মানক ইনপুট/আউটপুট খরচের চেয়ে ~4x কম, তাই ব্যবহারকারী যদি তাদের ডেটার সাথে যথেষ্ট চ্যাট করে, তাহলে ডেভেলপার হিসেবে এটি আপনার জন্য একটি বিশাল খরচ সাশ্রয় হবে।
দীর্ঘ প্রসঙ্গ সীমাবদ্ধতা
এই নির্দেশিকাটির বিভিন্ন বিভাগে, আমরা কীভাবে মিথুন মডেলগুলি বিভিন্ন সুই-ইন-এ-হে-স্ট্যাক পুনরুদ্ধার ইভালগুলিতে উচ্চ কার্যক্ষমতা অর্জন করে সে সম্পর্কে কথা বলেছি। এই পরীক্ষাগুলি সবচেয়ে মৌলিক সেটআপ বিবেচনা করে, যেখানে আপনার একটি একক সুই আছে যা আপনি খুঁজছেন। এমন ক্ষেত্রে যেখানে আপনার একাধিক "সূঁচ" বা নির্দিষ্ট তথ্যের টুকরো থাকতে পারে যা আপনি খুঁজছেন, মডেলটি একই নির্ভুলতার সাথে কাজ করে না। পারফরম্যান্স প্রেক্ষাপটের উপর নির্ভর করে বিস্তৃত মাত্রায় পরিবর্তিত হতে পারে। এটি বিবেচনা করা গুরুত্বপূর্ণ কারণ সঠিক তথ্য পুনরুদ্ধার করা এবং খরচের মধ্যে একটি অন্তর্নিহিত ট্রেডঅফ রয়েছে। আপনি একটি একক ক্যোয়ারীতে ~99% পেতে পারেন, কিন্তু প্রতিবার যখন আপনি সেই ক্যোয়ারী পাঠাবেন তখন আপনাকে ইনপুট টোকেন খরচ দিতে হবে। সুতরাং 100 টুকরো তথ্য পুনরুদ্ধার করার জন্য, আপনার যদি 99% কর্মক্ষমতা প্রয়োজন হয়, তাহলে আপনাকে সম্ভবত 100টি অনুরোধ পাঠাতে হবে। এটি একটি ভাল উদাহরণ যেখানে কনটেক্সট ক্যাশিং কর্মক্ষমতা উচ্চ রেখে জেমিনি মডেলগুলি ব্যবহার করার সাথে যুক্ত খরচকে উল্লেখযোগ্যভাবে হ্রাস করতে পারে।
FAQs
প্রসঙ্গ উইন্ডোতে আমার প্রশ্ন রাখার সেরা জায়গা কোথায়?
বেশিরভাগ ক্ষেত্রে, বিশেষ করে যদি মোট প্রসঙ্গ দীর্ঘ হয়, আপনি যদি প্রম্পটের শেষে আপনার প্রশ্ন/প্রশ্ন রাখেন (অন্যান্য সমস্ত প্রসঙ্গে) তাহলে মডেলের কার্যকারিতা আরও ভাল হবে।
যখন আমি একটি ক্যোয়ারীতে আরও টোকেন যোগ করি তখন কি আমি মডেল কার্যক্ষমতা হারাবো?
সাধারণত, মডেলে পাস করার জন্য আপনার যদি টোকেনগুলির প্রয়োজন না হয়, তবে সেগুলি পাস করা এড়াতে ভাল। যাইহোক, যদি আপনার কাছে কিছু তথ্য সহ টোকেনগুলির একটি বড় অংশ থাকে এবং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করতে চান, মডেলটি সেই তথ্যটি বের করতে অত্যন্ত সক্ষম (অনেক ক্ষেত্রে 99% নির্ভুলতা পর্যন্ত)।
দীর্ঘ-প্রসঙ্গ প্রশ্নগুলির সাথে আমি কীভাবে আমার খরচ কমাতে পারি?
যদি আপনার কাছে টোকেন/প্রসঙ্গগুলির একটি অনুরূপ সেট থাকে যা আপনি অনেকবার পুনরায় ব্যবহার করতে চান, তাহলে প্রসঙ্গ ক্যাশিং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করার সাথে যুক্ত খরচ কমাতে সাহায্য করতে পারে।
প্রসঙ্গ দৈর্ঘ্য মডেল লেটেন্সি প্রভাবিত করে?
যেকোন প্রদত্ত অনুরোধে কিছু নির্দিষ্ট পরিমাণ বিলম্বিতা থাকে, আকার নির্বিশেষে, তবে সাধারণত দীর্ঘ প্রশ্নের উচ্চতর লেটেন্সি থাকবে (প্রথম টোকেনের সময়)।