জেমিনি 1.5 ফ্ল্যাশ একটি 1-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডো সহ স্ট্যান্ডার্ড আসে এবং জেমিনি 1.5 প্রো একটি 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডোর সাথে আসে। ঐতিহাসিকভাবে, বৃহৎ ভাষার মডেলগুলি (LLMs) উল্লেখযোগ্যভাবে পাঠ্যের পরিমাণ (বা টোকেন) দ্বারা সীমিত ছিল যা এক সময়ে মডেলে প্রেরণ করা যেতে পারে। জেমিনি 1.5 দীর্ঘ প্রসঙ্গ উইন্ডো, কাছাকাছি-নিখুঁত পুনরুদ্ধার (>99%) সহ, অনেকগুলি নতুন ব্যবহারের ক্ষেত্রে এবং বিকাশকারী দৃষ্টান্তগুলি আনলক করে৷
টেক্সট জেনারেশন বা মাল্টিমোডাল ইনপুটগুলির মতো ক্ষেত্রে আপনি যে কোডটি ইতিমধ্যেই ব্যবহার করছেন তা দীর্ঘ প্রসঙ্গ সহ বাক্সের বাইরে কাজ করবে।
এই নির্দেশিকা জুড়ে, আপনি সংক্ষিপ্তভাবে প্রসঙ্গ উইন্ডোর মূল বিষয়গুলি অন্বেষণ করেন, কীভাবে ডেভেলপারদের দীর্ঘ প্রসঙ্গ সম্পর্কে চিন্তা করা উচিত, দীর্ঘ প্রসঙ্গের জন্য বিভিন্ন বাস্তব বিশ্বের ব্যবহার কেস এবং দীর্ঘ প্রসঙ্গের ব্যবহার অপ্টিমাইজ করার উপায়গুলি।
একটি প্রসঙ্গ উইন্ডো কি?
আপনি জেমিনি 1.5 মডেলগুলি ব্যবহার করার প্রাথমিক উপায় হল মডেলটিতে তথ্য (প্রসঙ্গ) প্রেরণ করা, যা পরবর্তীতে একটি প্রতিক্রিয়া তৈরি করবে। প্রসঙ্গ উইন্ডোর জন্য একটি সাদৃশ্য হল স্বল্পমেয়াদী মেমরি। একটি সীমিত পরিমাণ তথ্য রয়েছে যা কারও স্বল্পমেয়াদী স্মৃতিতে সংরক্ষণ করা যেতে পারে এবং এটি জেনারেটিভ মডেলের ক্ষেত্রেও সত্য।
আপনি আমাদের জেনারেটিভ মডেল গাইডে মডেলগুলি কীভাবে কাজ করে সে সম্পর্কে আরও পড়তে পারেন।
দীর্ঘ প্রসঙ্গ দিয়ে শুরু করা
গত কয়েক বছরে তৈরি বেশিরভাগ জেনারেটিভ মডেলগুলি একবারে 8,000 টোকেন প্রক্রিয়াকরণ করতে সক্ষম ছিল। নতুন মডেলগুলি 32,000 টোকেন বা 128,000 টোকেন গ্রহণ করে এটিকে আরও এগিয়ে নিয়ে গেছে। Gemini 1.5 হল প্রথম মডেল যা 1 মিলিয়ন টোকেন গ্রহণ করতে সক্ষম এবং এখন Gemini 1.5 Pro এর সাথে 2 মিলিয়ন টোকেন ।
অনুশীলনে, 1 মিলিয়ন টোকেন দেখতে এরকম হবে:
- কোডের 50,000 লাইন (প্রতি লাইনে আদর্শ 80 অক্ষর সহ)
- গত ৫ বছরে আপনার পাঠানো সমস্ত টেক্সট মেসেজ
- 8টি গড় দৈর্ঘ্যের ইংরেজি উপন্যাস
- 200 টিরও বেশি গড় দৈর্ঘ্যের পডকাস্ট পর্বের প্রতিলিপি
যদিও মডেলগুলি আরও বেশি প্রেক্ষাপটে নিতে পারে, বৃহৎ ভাষার মডেলগুলি ব্যবহার করার বিষয়ে প্রচলিত প্রজ্ঞার বেশিরভাগই মডেলের এই অন্তর্নিহিত সীমাবদ্ধতাকে অনুমান করে, যা 2024 সালের হিসাবে আর হয় না।
ছোট প্রসঙ্গ উইন্ডোগুলির সীমাবদ্ধতা পরিচালনা করার জন্য কিছু সাধারণ কৌশল অন্তর্ভুক্ত:
- নতুন টেক্সট আসার সাথে সাথে প্রসঙ্গ উইন্ডো থেকে নির্বিচারে পুরানো বার্তা/টেক্সট বাদ দেওয়া
- পূর্ববর্তী বিষয়বস্তুর সংক্ষিপ্তকরণ এবং প্রসঙ্গ উইন্ডোটি পূর্ণ হওয়ার কাছাকাছি গেলে সারাংশের সাথে প্রতিস্থাপন করা
- প্রসঙ্গ উইন্ডোর বাইরে এবং একটি ভেক্টর ডাটাবেসে ডেটা সরাতে শব্দার্থিক অনুসন্ধানের সাথে RAG ব্যবহার করে
- টোকেন সংরক্ষণের প্রম্পট থেকে নির্দিষ্ট পাঠ্য / অক্ষরগুলি সরাতে নির্ধারক বা জেনারেটিভ ফিল্টার ব্যবহার করে
যদিও এর মধ্যে অনেকগুলি এখনও কিছু নির্দিষ্ট ক্ষেত্রে প্রাসঙ্গিক, তবে শুরু করার ডিফল্ট জায়গাটি এখন প্রসঙ্গ উইন্ডোতে সমস্ত টোকেন রাখছে। যেহেতু জেমিনি 1.5 মডেলগুলি একটি দীর্ঘ প্রসঙ্গ উইন্ডোর সাথে উদ্দেশ্য-নির্মিত ছিল, তাই তারা প্রসঙ্গ শিক্ষার জন্য অনেক বেশি সক্ষম। উদাহরণস্বরূপ, শুধুমাত্র নির্দেশনামূলক উপকরণ (একটি 500-পৃষ্ঠার রেফারেন্স ব্যাকরণ, একটি অভিধান, এবং ≈ 400টি অতিরিক্ত সমান্তরাল বাক্য) সমস্ত প্রেক্ষাপটে সরবরাহ করা হয়েছে, জেমিনি 1.5 প্রো এবং জেমিনি 1.5 ফ্ল্যাশ ইংরেজি থেকে কালামং - একটি পাপুয়ান-এ অনুবাদ করতে শিখতে সক্ষম 200 টিরও কম স্পীকারের ভাষা এবং তাই প্রায় কোনও অনলাইন উপস্থিতি নেই—একই ব্যক্তির মতো গুণমান যা একই উপকরণ থেকে শিখেছে।
এই উদাহরণটি আন্ডারস্কোর করে যে আপনি কীভাবে দীর্ঘ প্রসঙ্গ এবং জেমিনি 1.5-এর অন্তর্গত শেখার ক্ষমতার সাথে কী সম্ভব তা নিয়ে ভাবতে শুরু করতে পারেন।
দীর্ঘ প্রসঙ্গ ব্যবহারের ক্ষেত্রে
যদিও বেশিরভাগ জেনারেটিভ মডেলের স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে এখনও টেক্সট ইনপুট, জেমিনি 1.5 মডেল ফ্যামিলি মাল্টিমডাল ব্যবহারের ক্ষেত্রে একটি নতুন দৃষ্টান্ত সক্ষম করে। এই মডেলগুলি নেটিভলি টেক্সট, ভিডিও, অডিও এবং ইমেজ বুঝতে পারে। তাদের সাথে রয়েছে Gemini API যা সুবিধার জন্য মাল্টিমোডাল ফাইলের ধরন নেয় ।
দীর্ঘ ফর্ম পাঠ্য
টেক্সট বুদ্ধিমত্তার স্তর হিসেবে প্রমাণিত হয়েছে যা এলএলএম-এর আশেপাশে গতির বেশিরভাগ অংশকে ভিত্তি করে। আগেই উল্লেখ করা হয়েছে, এলএলএম-এর ব্যবহারিক সীমাবদ্ধতার বেশিরভাগই ছিল নির্দিষ্ট কাজ করার জন্য যথেষ্ট বড় প্রসঙ্গ উইন্ডো না থাকার কারণে। এটি পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) এবং অন্যান্য কৌশলগুলির দ্রুত গ্রহণের দিকে পরিচালিত করে যা গতিশীলভাবে মডেলটিকে প্রাসঙ্গিক প্রাসঙ্গিক তথ্য সরবরাহ করে। এখন, বৃহত্তর এবং বৃহত্তর প্রসঙ্গ উইন্ডোগুলির সাথে (বর্তমানে জেমিনি 1.5 প্রোতে 2 মিলিয়ন পর্যন্ত), সেখানে নতুন কৌশল উপলব্ধ হচ্ছে যা নতুন ব্যবহারের ক্ষেত্রে আনলক করে।
পাঠ্য ভিত্তিক দীর্ঘ প্রেক্ষাপটের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- টেক্সট বড় কার্পাস সারসংক্ষেপ
- ছোট প্রসঙ্গ মডেল সহ পূর্ববর্তী সংক্ষিপ্তকরণ বিকল্পগুলির জন্য একটি স্লাইডিং উইন্ডো বা পূর্ববর্তী বিভাগগুলির অবস্থা বজায় রাখার জন্য অন্য কৌশলের প্রয়োজন হবে কারণ নতুন টোকেনগুলি মডেলে প্রেরণ করা হয়
- প্রশ্ন এবং উত্তর
- ঐতিহাসিকভাবে এটি শুধুমাত্র RAG-এর মাধ্যমেই সম্ভব হয়েছিল সীমিত পরিমাণ প্রসঙ্গ এবং মডেলের বাস্তবিক স্মরণ কম থাকায়
- এজেন্টিক কর্মপ্রবাহ
- টেক্সট হল এজেন্টরা কীভাবে তারা কী করেছে এবং তাদের কী করা দরকার তার অবস্থা রাখে তার ভিত্তি; বিশ্ব এবং এজেন্টের লক্ষ্য সম্পর্কে পর্যাপ্ত তথ্য না থাকা এজেন্টদের নির্ভরযোগ্যতার একটি সীমাবদ্ধতা
বহু-শট ইন-কনটেক্সট লার্নিং হল দীর্ঘ প্রসঙ্গ মডেল দ্বারা আনলক করা সবচেয়ে অনন্য ক্ষমতাগুলির মধ্যে একটি। গবেষণায় দেখা গেছে যে সাধারণ "একক শট" বা "মাল্টি-শট" উদাহরণের দৃষ্টান্ত গ্রহণ করা, যেখানে মডেলটিকে একটি কাজের এক বা কয়েকটি উদাহরণ সহ উপস্থাপন করা হয় এবং এটিকে শত, হাজার বা এমনকি কয়েক হাজার পর্যন্ত স্কেল করা হয়। উদাহরণ, অভিনব মডেল ক্ষমতা হতে পারে. এই বহু-শট পদ্ধতিটি মডেলগুলির অনুরূপভাবে কাজ করতেও দেখানো হয়েছে যেগুলি একটি নির্দিষ্ট কাজের জন্য সূক্ষ্ম সুর করা হয়েছিল। ব্যবহারের ক্ষেত্রে যেখানে মিথুন মডেলের কর্মক্ষমতা এখনও প্রোডাকশন রোলআউটের জন্য যথেষ্ট নয়, আপনি বহু-শট পদ্ধতির চেষ্টা করতে পারেন। আপনি যেমন দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশান বিভাগে পরে অন্বেষণ করতে পারেন, প্রসঙ্গ ক্যাশিং এই ধরনের উচ্চ ইনপুট টোকেন কাজের চাপকে অনেক বেশি অর্থনৈতিকভাবে সম্ভাব্য এবং এমনকি কিছু ক্ষেত্রে কম বিলম্বিত করে তোলে।
দীর্ঘ ফর্ম ভিডিও
ভিডিও বিষয়বস্তুর ইউটিলিটি দীর্ঘদিন ধরে মাধ্যমটির অ্যাক্সেসযোগ্যতার অভাব দ্বারা সীমাবদ্ধ। বিষয়বস্তু স্কিম করা কঠিন ছিল, প্রতিলিপিগুলি প্রায়শই একটি ভিডিওর সূক্ষ্মতা ধরতে ব্যর্থ হয় এবং বেশিরভাগ সরঞ্জামগুলি চিত্র, পাঠ্য এবং অডিও একসাথে প্রক্রিয়া করে না। জেমিনি 1.5 এর সাথে, দীর্ঘ-প্রসঙ্গ টেক্সট ক্ষমতাগুলি টেকসই কর্মক্ষমতা সহ মাল্টিমোডাল ইনপুট সম্পর্কে যুক্তি এবং প্রশ্নের উত্তর দেওয়ার ক্ষমতায় অনুবাদ করে। জেমিনি 1.5 ফ্ল্যাশ, যখন 1M টোকেন সহ একটি ভিডিও খড়ের গাদা সমস্যায় সূঁচের উপর পরীক্ষা করা হয়, তখন প্রসঙ্গ উইন্ডোতে ভিডিওটির 99.8% রিকল প্রাপ্ত হয় এবং 1.5 Pro ভিডিও-MME বেঞ্চমার্কে অত্যাধুনিক পারফরম্যান্সে পৌঁছে যায়।
ভিডিও দীর্ঘ প্রসঙ্গের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- ভিডিও প্রশ্ন এবং উত্তর
- ভিডিও মেমরি, যেমনটি Google এর প্রজেক্ট অ্যাস্ট্রার সাথে দেখানো হয়েছে
- ভিডিও ক্যাপশনিং
- নতুন মাল্টিমডাল বোঝাপড়ার সাথে বিদ্যমান মেটাডেটা সমৃদ্ধ করে ভিডিও সুপারিশ সিস্টেম
- ভিডিও কাস্টমাইজেশন, ডেটা এবং সংশ্লিষ্ট ভিডিও মেটাডেটার একটি কর্পাস দেখে এবং তারপর ভিডিওর অংশগুলি সরিয়ে যা দর্শকের সাথে প্রাসঙ্গিক নয়
- ভিডিও বিষয়বস্তু সংযম
- রিয়েল-টাইম ভিডিও প্রক্রিয়াকরণ
ভিডিওগুলির সাথে কাজ করার সময়, ভিডিওগুলিকে কীভাবে টোকেনে প্রক্রিয়া করা হয় তা বিবেচনা করা গুরুত্বপূর্ণ, যা বিলিং এবং ব্যবহারের সীমাকে প্রভাবিত করে৷ আপনি প্রম্পটিং গাইডে ভিডিও ফাইলের সাথে প্রম্পট করার বিষয়ে আরও জানতে পারেন।
দীর্ঘ ফর্ম অডিও
জেমিনি 1.5 মডেলগুলি ছিল প্রথম স্থানীয় মাল্টিমডাল বৃহৎ ভাষার মডেল যা অডিও বুঝতে পারে। ঐতিহাসিকভাবে, সাধারণ বিকাশকারী কর্মপ্রবাহে অডিও প্রক্রিয়া করার জন্য একাধিক ডোমেন নির্দিষ্ট মডেল, যেমন একটি স্পিচ-টু-টেক্সট মডেল এবং একটি টেক্সট-টু-টেক্সট মডেলকে একত্রিত করা জড়িত। এটি একাধিক রাউন্ড-ট্রিপ অনুরোধ সম্পাদন করার জন্য প্রয়োজনীয় অতিরিক্ত বিলম্বের দিকে পরিচালিত করে এবং কার্যক্ষমতা হ্রাস করে যা সাধারণত একাধিক মডেল সেটআপের সংযোগ বিচ্ছিন্ন আর্কিটেকচারের জন্য দায়ী করা হয়।
স্ট্যান্ডার্ড অডিও-হেস্ট্যাক মূল্যায়নে, জেমিনি 1.5 প্রো 100% পরীক্ষায় লুকানো অডিও খুঁজে পেতে সক্ষম এবং জেমিনি 1.5 ফ্ল্যাশ 98.7% পরীক্ষায় এটি খুঁজে পেতে সক্ষম। Gemini 1.5 Flash একটি অনুরোধে 9.5 ঘন্টা পর্যন্ত অডিও গ্রহণ করে এবং Gemini 1.5 Pro 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডো ব্যবহার করে 19 ঘন্টা পর্যন্ত অডিও গ্রহণ করতে পারে। আরও, 15-মিনিটের অডিও ক্লিপগুলির একটি পরীক্ষামূলক সেটে, Gemini 1.5 Pro ~5.5% এর একটি শব্দ ত্রুটির হার (WER) সংরক্ষণ করে, যা এমনকি বিশেষ স্পিচ-টু-টেক্সট মডেলের তুলনায় অনেক কম, অতিরিক্ত ইনপুট বিভাজনের জটিলতা ছাড়াই এবং প্রাক প্রক্রিয়াকরণ
অডিও প্রসঙ্গের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- রিয়েল-টাইম প্রতিলিপি এবং অনুবাদ
- পডকাস্ট / ভিডিও প্রশ্ন এবং উত্তর
- মিটিং প্রতিলিপি এবং সারসংক্ষেপ
- ভয়েস সহকারী
আপনি প্রম্পটিং গাইডে অডিও ফাইলের সাথে প্রম্পটিং সম্পর্কে আরও জানতে পারেন।
দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশান
দীর্ঘ প্রসঙ্গ এবং জেমিনি 1.5 মডেলের সাথে কাজ করার সময় প্রাথমিক অপ্টিমাইজেশন হল প্রসঙ্গ ক্যাশিং ব্যবহার করা। একটি একক অনুরোধে প্রচুর টোকেন প্রক্রিয়াকরণের পূর্ববর্তী অসম্ভবতার বাইরে, অন্য প্রধান সীমাবদ্ধতা ছিল খরচ। যদি আপনার কাছে একটি "আপনার ডেটার সাথে চ্যাট" অ্যাপ থাকে যেখানে একজন ব্যবহারকারী 10টি পিডিএফ, একটি ভিডিও এবং কিছু কাজের নথি আপলোড করেন, তাহলে আপনাকে ঐতিহাসিকভাবে এইগুলি প্রক্রিয়া করার জন্য আরও জটিল পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) টুল/ফ্রেমওয়ার্কের সাথে কাজ করতে হবে। প্রসঙ্গ উইন্ডোতে সরানো টোকেনের জন্য অনুরোধ করুন এবং একটি উল্লেখযোগ্য পরিমাণ অর্থ প্রদান করুন। এখন, আপনি ব্যবহারকারীর আপলোড করা ফাইলগুলি ক্যাশে করতে পারেন এবং প্রতি ঘন্টার ভিত্তিতে সেগুলি সংরক্ষণ করার জন্য অর্থ প্রদান করতে পারেন। জেমিনি 1.5 ফ্ল্যাশ-এর সাথে অনুরোধ প্রতি ইনপুট/আউটপুট খরচ, উদাহরণস্বরূপ, স্ট্যান্ডার্ড ইনপুট/আউটপুট খরচের চেয়ে ~4x কম, তাই ব্যবহারকারী যদি যথেষ্ট পরিমাণে ডেটার সাথে চ্যাট করে, তাহলে এটি ডেভেলপার হিসাবে আপনার জন্য একটি বিশাল খরচ সাশ্রয় করে।
দীর্ঘ প্রসঙ্গ সীমাবদ্ধতা
এই গাইডের বিভিন্ন বিভাগে, আমরা কীভাবে জেমিনি 1.5 মডেলগুলি বিভিন্ন সুই-ইন-এ-হে-স্ট্যাক পুনরুদ্ধারের মূল্যে উচ্চ কার্যক্ষমতা অর্জন করে সে সম্পর্কে কথা বলেছি। এই পরীক্ষাগুলি সবচেয়ে মৌলিক সেটআপ বিবেচনা করে, যেখানে আপনার একটি একক সুই আছে যা আপনি খুঁজছেন। এমন ক্ষেত্রে যেখানে আপনার একাধিক "সূঁচ" বা নির্দিষ্ট তথ্যের টুকরো থাকতে পারে যা আপনি খুঁজছেন, মডেলটি একই নির্ভুলতার সাথে কাজ করে না। কর্মক্ষমতা প্রেক্ষাপটের উপর নির্ভর করে বিস্তৃত ডিগ্রী পরিবর্তিত হতে পারে। এটি বিবেচনা করা গুরুত্বপূর্ণ কারণ সঠিক তথ্য পুনরুদ্ধার করা এবং খরচের মধ্যে একটি অন্তর্নিহিত ট্রেডঅফ রয়েছে। আপনি একটি একক ক্যোয়ারীতে ~99% পেতে পারেন, কিন্তু প্রতিবার যখন আপনি সেই ক্যোয়ারী পাঠাবেন তখন আপনাকে ইনপুট টোকেন খরচ দিতে হবে। সুতরাং 100 টুকরো তথ্য পুনরুদ্ধার করার জন্য, আপনার যদি 99% কর্মক্ষমতা প্রয়োজন হয়, তাহলে আপনাকে সম্ভবত 100টি অনুরোধ পাঠাতে হবে। এটি একটি ভাল উদাহরণ যেখানে কনটেক্সট ক্যাশিং কর্মক্ষমতা উচ্চ রেখে জেমিনি মডেলগুলি ব্যবহার করার সাথে যুক্ত খরচকে উল্লেখযোগ্যভাবে হ্রাস করতে পারে।
FAQs
যখন আমি একটি ক্যোয়ারীতে আরও টোকেন যোগ করি তখন কি আমি মডেল কার্যক্ষমতা হারাবো?
সাধারণত, মডেলে পাস করার জন্য আপনার যদি টোকেনগুলির প্রয়োজন না হয়, তবে সেগুলি পাস করা এড়াতে ভাল। যাইহোক, যদি আপনার কাছে কিছু তথ্য সহ টোকেনগুলির একটি বড় অংশ থাকে এবং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করতে চান, মডেলটি সেই তথ্যটি বের করতে অত্যন্ত সক্ষম (অনেক ক্ষেত্রে 99% নির্ভুলতা পর্যন্ত)।
জেমিনি 1.5 প্রো স্ট্যান্ডার্ড সুই-ইন-এ-হে-স্ট্যাক টেস্টে কীভাবে পারফর্ম করে?
Gemini 1.5 Pro 530k টোকেন পর্যন্ত 100% রিকল এবং 1M টোকেন পর্যন্ত 99.7% রিকল অর্জন করে।
দীর্ঘ-প্রসঙ্গ প্রশ্নগুলির সাথে আমি কীভাবে আমার খরচ কমাতে পারি?
যদি আপনার কাছে টোকেন/প্রসঙ্গগুলির একটি অনুরূপ সেট থাকে যা আপনি অনেকবার পুনরায় ব্যবহার করতে চান, তাহলে প্রসঙ্গ ক্যাশিং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করার সাথে যুক্ত খরচ কমাতে সাহায্য করতে পারে।
আমি কিভাবে 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডোতে অ্যাক্সেস পেতে পারি?
সমস্ত ডেভেলপারদের এখন Gemini 1.5 Pro সহ 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডোতে অ্যাক্সেস রয়েছে।
প্রসঙ্গ দৈর্ঘ্য মডেল লেটেন্সি প্রভাবিত করে?
যেকোন প্রদত্ত অনুরোধে কিছু নির্দিষ্ট পরিমাণ বিলম্বিতা থাকে, আকার নির্বিশেষে, তবে সাধারণত দীর্ঘ প্রশ্নের উচ্চতর লেটেন্সি থাকবে (প্রথম টোকেনের সময়)।
জেমিনি 1.5 ফ্ল্যাশ এবং জেমিনি 1.5 প্রো এর মধ্যে দীর্ঘ প্রসঙ্গ ক্ষমতাগুলি কি আলাদা?
হ্যাঁ, এই গাইডের বিভিন্ন বিভাগে কিছু সংখ্যা উল্লেখ করা হয়েছে, তবে সাধারণত জেমিনি 1.5 প্রো বেশিরভাগ দীর্ঘ প্রসঙ্গ ব্যবহারের ক্ষেত্রে আরও কার্যকর।
,জেমিনি 1.5 ফ্ল্যাশ একটি 1-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডো সহ স্ট্যান্ডার্ড আসে এবং জেমিনি 1.5 প্রো একটি 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডোর সাথে আসে। ঐতিহাসিকভাবে, বৃহৎ ভাষার মডেলগুলি (LLMs) উল্লেখযোগ্যভাবে পাঠ্যের পরিমাণ (বা টোকেন) দ্বারা সীমিত ছিল যা এক সময়ে মডেলে প্রেরণ করা যেতে পারে। জেমিনি 1.5 দীর্ঘ প্রসঙ্গ উইন্ডো, কাছাকাছি-নিখুঁত পুনরুদ্ধার (>99%) সহ, অনেকগুলি নতুন ব্যবহারের ক্ষেত্রে এবং বিকাশকারী দৃষ্টান্তগুলি আনলক করে৷
টেক্সট জেনারেশন বা মাল্টিমোডাল ইনপুটগুলির মতো ক্ষেত্রে আপনি যে কোডটি ইতিমধ্যেই ব্যবহার করছেন তা দীর্ঘ প্রসঙ্গ সহ বাক্সের বাইরে কাজ করবে।
এই নির্দেশিকা জুড়ে, আপনি সংক্ষিপ্তভাবে প্রসঙ্গ উইন্ডোর মূল বিষয়গুলি অন্বেষণ করেন, কীভাবে ডেভেলপারদের দীর্ঘ প্রসঙ্গ সম্পর্কে চিন্তা করা উচিত, দীর্ঘ প্রসঙ্গের জন্য বিভিন্ন বাস্তব বিশ্বের ব্যবহার কেস এবং দীর্ঘ প্রসঙ্গের ব্যবহার অপ্টিমাইজ করার উপায়গুলি।
একটি প্রসঙ্গ উইন্ডো কি?
আপনি জেমিনি 1.5 মডেলগুলি ব্যবহার করার প্রাথমিক উপায় হল মডেলটিতে তথ্য (প্রসঙ্গ) প্রেরণ করা, যা পরবর্তীতে একটি প্রতিক্রিয়া তৈরি করবে। প্রসঙ্গ উইন্ডোর জন্য একটি সাদৃশ্য হল স্বল্পমেয়াদী মেমরি। একটি সীমিত পরিমাণ তথ্য রয়েছে যা কারও স্বল্পমেয়াদী স্মৃতিতে সংরক্ষণ করা যেতে পারে এবং এটি জেনারেটিভ মডেলের ক্ষেত্রেও সত্য।
আপনি আমাদের জেনারেটিভ মডেল গাইডে মডেলগুলি কীভাবে কাজ করে সে সম্পর্কে আরও পড়তে পারেন।
দীর্ঘ প্রসঙ্গ দিয়ে শুরু করা
গত কয়েক বছরে তৈরি বেশিরভাগ জেনারেটিভ মডেলগুলি একবারে 8,000 টোকেন প্রক্রিয়াকরণ করতে সক্ষম ছিল। নতুন মডেলগুলি 32,000 টোকেন বা 128,000 টোকেন গ্রহণ করে এটিকে আরও এগিয়ে নিয়ে গেছে। Gemini 1.5 হল প্রথম মডেল যা 1 মিলিয়ন টোকেন গ্রহণ করতে সক্ষম এবং এখন Gemini 1.5 Pro এর সাথে 2 মিলিয়ন টোকেন ।
অনুশীলনে, 1 মিলিয়ন টোকেন দেখতে এরকম হবে:
- কোডের 50,000 লাইন (প্রতি লাইনে আদর্শ 80 অক্ষর সহ)
- গত ৫ বছরে আপনার পাঠানো সমস্ত টেক্সট মেসেজ
- 8টি গড় দৈর্ঘ্যের ইংরেজি উপন্যাস
- 200 টিরও বেশি গড় দৈর্ঘ্যের পডকাস্ট পর্বের প্রতিলিপি
যদিও মডেলগুলি আরও বেশি প্রেক্ষাপটে নিতে পারে, বৃহৎ ভাষার মডেলগুলি ব্যবহার করার বিষয়ে প্রচলিত প্রজ্ঞার বেশিরভাগই মডেলের এই অন্তর্নিহিত সীমাবদ্ধতাকে অনুমান করে, যা 2024 সালের হিসাবে আর হয় না।
ছোট প্রসঙ্গ উইন্ডোগুলির সীমাবদ্ধতা পরিচালনা করার জন্য কিছু সাধারণ কৌশল অন্তর্ভুক্ত:
- নতুন টেক্সট আসার সাথে সাথে প্রসঙ্গ উইন্ডো থেকে নির্বিচারে পুরানো বার্তা/টেক্সট বাদ দেওয়া
- পূর্ববর্তী বিষয়বস্তুর সংক্ষিপ্তকরণ এবং প্রসঙ্গ উইন্ডোটি পূর্ণ হওয়ার কাছাকাছি গেলে সারাংশের সাথে প্রতিস্থাপন করা
- প্রসঙ্গ উইন্ডোর বাইরে এবং একটি ভেক্টর ডাটাবেসে ডেটা সরাতে শব্দার্থিক অনুসন্ধানের সাথে RAG ব্যবহার করে
- টোকেন সংরক্ষণের প্রম্পট থেকে নির্দিষ্ট পাঠ্য / অক্ষরগুলি সরাতে নির্ধারক বা জেনারেটিভ ফিল্টার ব্যবহার করে
যদিও এর মধ্যে অনেকগুলি এখনও কিছু নির্দিষ্ট ক্ষেত্রে প্রাসঙ্গিক, তবে শুরু করার ডিফল্ট জায়গাটি এখন প্রসঙ্গ উইন্ডোতে সমস্ত টোকেন রাখছে। যেহেতু জেমিনি 1.5 মডেলগুলি একটি দীর্ঘ প্রসঙ্গ উইন্ডোর সাথে উদ্দেশ্য-নির্মিত ছিল, তাই তারা প্রসঙ্গ শিক্ষার জন্য অনেক বেশি সক্ষম। উদাহরণস্বরূপ, শুধুমাত্র নির্দেশনামূলক উপকরণ (একটি 500-পৃষ্ঠার রেফারেন্স ব্যাকরণ, একটি অভিধান, এবং ≈ 400টি অতিরিক্ত সমান্তরাল বাক্য) সমস্ত প্রেক্ষাপটে সরবরাহ করা হয়েছে, জেমিনি 1.5 প্রো এবং জেমিনি 1.5 ফ্ল্যাশ ইংরেজি থেকে কালামং - একটি পাপুয়ান-এ অনুবাদ করতে শিখতে সক্ষম 200 টিরও কম স্পীকারের ভাষা এবং তাই প্রায় কোনও অনলাইন উপস্থিতি নেই—একই ব্যক্তির মতো গুণমান যা একই উপকরণ থেকে শিখেছে।
এই উদাহরণটি আন্ডারস্কোর করে যে আপনি কীভাবে দীর্ঘ প্রসঙ্গ এবং জেমিনি 1.5-এর অন্তর্গত শেখার ক্ষমতার সাথে কী সম্ভব তা নিয়ে ভাবতে শুরু করতে পারেন।
দীর্ঘ প্রসঙ্গ ব্যবহারের ক্ষেত্রে
যদিও বেশিরভাগ জেনারেটিভ মডেলের স্ট্যান্ডার্ড ব্যবহারের ক্ষেত্রে এখনও টেক্সট ইনপুট, জেমিনি 1.5 মডেল ফ্যামিলি মাল্টিমডাল ব্যবহারের ক্ষেত্রে একটি নতুন দৃষ্টান্ত সক্ষম করে। এই মডেলগুলি নেটিভলি টেক্সট, ভিডিও, অডিও এবং ইমেজ বুঝতে পারে। তাদের সাথে রয়েছে Gemini API যা সুবিধার জন্য মাল্টিমোডাল ফাইলের ধরন নেয় ।
দীর্ঘ ফর্ম পাঠ্য
টেক্সট বুদ্ধিমত্তার স্তর হিসেবে প্রমাণিত হয়েছে যা এলএলএম-এর আশেপাশে গতির বেশিরভাগ অংশকে ভিত্তি করে। আগেই উল্লেখ করা হয়েছে, এলএলএম-এর ব্যবহারিক সীমাবদ্ধতার বেশিরভাগই ছিল নির্দিষ্ট কাজ করার জন্য যথেষ্ট বড় প্রসঙ্গ উইন্ডো না থাকার কারণে। এটি পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) এবং অন্যান্য কৌশলগুলির দ্রুত গ্রহণের দিকে পরিচালিত করে যা গতিশীলভাবে মডেলটিকে প্রাসঙ্গিক প্রাসঙ্গিক তথ্য সরবরাহ করে। এখন, বৃহত্তর এবং বৃহত্তর প্রসঙ্গ উইন্ডোগুলির সাথে (বর্তমানে জেমিনি 1.5 প্রোতে 2 মিলিয়ন পর্যন্ত), সেখানে নতুন কৌশল উপলব্ধ হচ্ছে যা নতুন ব্যবহারের ক্ষেত্রে আনলক করে।
পাঠ্য ভিত্তিক দীর্ঘ প্রেক্ষাপটের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- টেক্সট বড় কার্পাস সারসংক্ষেপ
- ছোট প্রসঙ্গ মডেল সহ পূর্ববর্তী সংক্ষিপ্তকরণ বিকল্পগুলির জন্য একটি স্লাইডিং উইন্ডো বা পূর্ববর্তী বিভাগগুলির অবস্থা বজায় রাখার জন্য অন্য কৌশলের প্রয়োজন হবে কারণ নতুন টোকেনগুলি মডেলে প্রেরণ করা হয়
- প্রশ্ন এবং উত্তর
- ঐতিহাসিকভাবে এটি শুধুমাত্র RAG-এর মাধ্যমেই সম্ভব হয়েছিল সীমিত পরিমাণ প্রসঙ্গ এবং মডেলের বাস্তবিক স্মরণ কম থাকায়
- এজেন্টিক কর্মপ্রবাহ
- টেক্সট হল এজেন্টরা কীভাবে তারা কী করেছে এবং তাদের কী করা দরকার তার অবস্থা রাখে। বিশ্ব এবং এজেন্টের লক্ষ্য সম্পর্কে পর্যাপ্ত তথ্য না থাকা এজেন্টদের নির্ভরযোগ্যতার একটি সীমাবদ্ধতা
বহু-শট ইন-কনটেক্সট লার্নিং হল দীর্ঘ প্রসঙ্গ মডেল দ্বারা আনলক করা সবচেয়ে অনন্য ক্ষমতাগুলির মধ্যে একটি। গবেষণায় দেখা গেছে যে সাধারণ "একক শট" বা "মাল্টি-শট" উদাহরণের দৃষ্টান্ত গ্রহণ করা, যেখানে মডেলটিকে একটি কাজের এক বা কয়েকটি উদাহরণ সহ উপস্থাপন করা হয় এবং এটিকে শত, হাজার বা এমনকি কয়েক হাজার পর্যন্ত স্কেল করা হয়। উদাহরণ, অভিনব মডেল ক্ষমতা হতে পারে. এই বহু-শট পদ্ধতিটি মডেলগুলির অনুরূপভাবে কাজ করতেও দেখানো হয়েছে যেগুলি একটি নির্দিষ্ট কাজের জন্য সূক্ষ্ম সুর করা হয়েছিল। ব্যবহারের ক্ষেত্রে যেখানে মিথুন মডেলের কর্মক্ষমতা এখনও প্রোডাকশন রোলআউটের জন্য যথেষ্ট নয়, আপনি বহু-শট পদ্ধতির চেষ্টা করতে পারেন। আপনি যেমন দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশান বিভাগে পরে অন্বেষণ করতে পারেন, প্রসঙ্গ ক্যাশিং এই ধরনের উচ্চ ইনপুট টোকেন কাজের চাপকে অনেক বেশি অর্থনৈতিকভাবে সম্ভাব্য এবং এমনকি কিছু ক্ষেত্রে কম বিলম্বিত করে তোলে।
দীর্ঘ ফর্ম ভিডিও
ভিডিও বিষয়বস্তুর ইউটিলিটি দীর্ঘদিন ধরে মাধ্যমটির অ্যাক্সেসযোগ্যতার অভাব দ্বারা সীমাবদ্ধ। বিষয়বস্তু স্কিম করা কঠিন ছিল, প্রতিলিপিগুলি প্রায়শই একটি ভিডিওর সূক্ষ্মতা ধরতে ব্যর্থ হয় এবং বেশিরভাগ সরঞ্জামগুলি চিত্র, পাঠ্য এবং অডিও একসাথে প্রক্রিয়া করে না। জেমিনি 1.5 এর সাথে, দীর্ঘ-প্রসঙ্গ টেক্সট ক্ষমতাগুলি টেকসই কর্মক্ষমতা সহ মাল্টিমোডাল ইনপুট সম্পর্কে যুক্তি এবং প্রশ্নের উত্তর দেওয়ার ক্ষমতায় অনুবাদ করে। জেমিনি 1.5 ফ্ল্যাশ, যখন 1M টোকেন সহ একটি ভিডিও খড়ের গাদা সমস্যায় সূঁচের উপর পরীক্ষা করা হয়, তখন প্রসঙ্গ উইন্ডোতে ভিডিওটির 99.8% রিকল প্রাপ্ত হয় এবং 1.5 Pro ভিডিও-MME বেঞ্চমার্কে অত্যাধুনিক পারফরম্যান্সে পৌঁছে যায়।
ভিডিও দীর্ঘ প্রসঙ্গের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- ভিডিও প্রশ্ন এবং উত্তর
- ভিডিও মেমরি, যেমনটি Google এর প্রজেক্ট অ্যাস্ট্রার সাথে দেখানো হয়েছে
- ভিডিও ক্যাপশনিং
- নতুন মাল্টিমডাল বোঝাপড়ার সাথে বিদ্যমান মেটাডেটা সমৃদ্ধ করে ভিডিও সুপারিশ সিস্টেম
- ভিডিও কাস্টমাইজেশন, ডেটা এবং সংশ্লিষ্ট ভিডিও মেটাডেটার একটি কর্পাস দেখে এবং তারপর ভিডিওর অংশগুলি সরিয়ে যা দর্শকের সাথে প্রাসঙ্গিক নয়
- ভিডিও বিষয়বস্তু সংযম
- রিয়েল-টাইম ভিডিও প্রক্রিয়াকরণ
ভিডিওগুলির সাথে কাজ করার সময়, ভিডিওগুলিকে কীভাবে টোকেনে প্রক্রিয়া করা হয় তা বিবেচনা করা গুরুত্বপূর্ণ, যা বিলিং এবং ব্যবহারের সীমাকে প্রভাবিত করে৷ আপনি প্রম্পটিং গাইডে ভিডিও ফাইলের সাথে প্রম্পট করার বিষয়ে আরও জানতে পারেন।
দীর্ঘ ফর্ম অডিও
জেমিনি 1.5 মডেলগুলি ছিল প্রথম স্থানীয় মাল্টিমডাল বৃহৎ ভাষার মডেল যা অডিও বুঝতে পারে। ঐতিহাসিকভাবে, সাধারণ বিকাশকারী কর্মপ্রবাহে অডিও প্রক্রিয়া করার জন্য একাধিক ডোমেন নির্দিষ্ট মডেল, যেমন একটি স্পিচ-টু-টেক্সট মডেল এবং একটি টেক্সট-টু-টেক্সট মডেলকে একত্রিত করা জড়িত। এটি একাধিক রাউন্ড-ট্রিপ অনুরোধ সম্পাদন করার জন্য প্রয়োজনীয় অতিরিক্ত বিলম্বের দিকে পরিচালিত করে এবং কার্যক্ষমতা হ্রাস করে যা সাধারণত একাধিক মডেল সেটআপের সংযোগ বিচ্ছিন্ন আর্কিটেকচারের জন্য দায়ী করা হয়।
স্ট্যান্ডার্ড অডিও-হেস্ট্যাক মূল্যায়নে, জেমিনি 1.5 প্রো 100% পরীক্ষায় লুকানো অডিও খুঁজে পেতে সক্ষম এবং জেমিনি 1.5 ফ্ল্যাশ 98.7% পরীক্ষায় এটি খুঁজে পেতে সক্ষম। Gemini 1.5 Flash একটি অনুরোধে 9.5 ঘন্টা পর্যন্ত অডিও গ্রহণ করে এবং Gemini 1.5 Pro 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডো ব্যবহার করে 19 ঘন্টা পর্যন্ত অডিও গ্রহণ করতে পারে। আরও, 15-মিনিটের অডিও ক্লিপগুলির একটি পরীক্ষামূলক সেটে, Gemini 1.5 Pro ~5.5% এর একটি শব্দ ত্রুটির হার (WER) সংরক্ষণ করে, যা এমনকি বিশেষ স্পিচ-টু-টেক্সট মডেলের তুলনায় অনেক কম, অতিরিক্ত ইনপুট বিভাজনের জটিলতা ছাড়াই এবং প্রাক প্রক্রিয়াকরণ
অডিও প্রসঙ্গের জন্য কিছু উদীয়মান এবং মানক ব্যবহারের ক্ষেত্রে অন্তর্ভুক্ত:
- রিয়েল-টাইম প্রতিলিপি এবং অনুবাদ
- পডকাস্ট / ভিডিও প্রশ্ন এবং উত্তর
- মিটিং প্রতিলিপি এবং সারসংক্ষেপ
- ভয়েস সহকারী
আপনি প্রম্পটিং গাইডে অডিও ফাইলের সাথে প্রম্পটিং সম্পর্কে আরও জানতে পারেন।
দীর্ঘ প্রসঙ্গ অপ্টিমাইজেশান
দীর্ঘ প্রসঙ্গ এবং জেমিনি 1.5 মডেলের সাথে কাজ করার সময় প্রাথমিক অপ্টিমাইজেশন হল প্রসঙ্গ ক্যাশিং ব্যবহার করা। একটি একক অনুরোধে প্রচুর টোকেন প্রক্রিয়াকরণের পূর্ববর্তী অসম্ভবতার বাইরে, অন্য প্রধান সীমাবদ্ধতা ছিল খরচ। যদি আপনার কাছে একটি "আপনার ডেটার সাথে চ্যাট" অ্যাপ থাকে যেখানে একজন ব্যবহারকারী 10টি পিডিএফ, একটি ভিডিও এবং কিছু কাজের নথি আপলোড করেন, তাহলে আপনাকে ঐতিহাসিকভাবে এইগুলি প্রক্রিয়া করার জন্য আরও জটিল পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) টুল/ফ্রেমওয়ার্কের সাথে কাজ করতে হবে। প্রসঙ্গ উইন্ডোতে সরানো টোকেনের জন্য অনুরোধ করুন এবং একটি উল্লেখযোগ্য পরিমাণ অর্থ প্রদান করুন। এখন, আপনি ব্যবহারকারীর আপলোড করা ফাইলগুলি ক্যাশে করতে পারেন এবং প্রতি ঘন্টার ভিত্তিতে সেগুলি সংরক্ষণ করার জন্য অর্থ প্রদান করতে পারেন। জেমিনি 1.5 ফ্ল্যাশ-এর সাথে অনুরোধ প্রতি ইনপুট/আউটপুট খরচ, উদাহরণস্বরূপ, স্ট্যান্ডার্ড ইনপুট/আউটপুট খরচের চেয়ে ~4x কম, তাই ব্যবহারকারী যদি যথেষ্ট পরিমাণে ডেটার সাথে চ্যাট করে, তাহলে এটি ডেভেলপার হিসাবে আপনার জন্য একটি বিশাল খরচ সাশ্রয় করে।
দীর্ঘ প্রসঙ্গ সীমাবদ্ধতা
এই গাইডের বিভিন্ন বিভাগে, আমরা কীভাবে জেমিনি 1.5 মডেলগুলি বিভিন্ন সুই-ইন-এ-হে-স্ট্যাক পুনরুদ্ধারের মূল্যে উচ্চ কার্যক্ষমতা অর্জন করে সে সম্পর্কে কথা বলেছি। এই পরীক্ষাগুলি সবচেয়ে মৌলিক সেটআপ বিবেচনা করে, যেখানে আপনার একটি একক সুই আছে যা আপনি খুঁজছেন। এমন ক্ষেত্রে যেখানে আপনার একাধিক "সূঁচ" বা নির্দিষ্ট তথ্যের টুকরো থাকতে পারে যা আপনি খুঁজছেন, মডেলটি একই নির্ভুলতার সাথে কাজ করে না। কর্মক্ষমতা প্রেক্ষাপটের উপর নির্ভর করে বিস্তৃত ডিগ্রী পরিবর্তিত হতে পারে। এটি বিবেচনা করা গুরুত্বপূর্ণ কারণ সঠিক তথ্য পুনরুদ্ধার করা এবং খরচের মধ্যে একটি অন্তর্নিহিত ট্রেডঅফ রয়েছে। আপনি একটি একক ক্যোয়ারীতে ~99% পেতে পারেন, কিন্তু প্রতিবার যখন আপনি সেই ক্যোয়ারী পাঠাবেন তখন আপনাকে ইনপুট টোকেন খরচ দিতে হবে। সুতরাং 100 টুকরো তথ্য পুনরুদ্ধার করার জন্য, আপনার যদি 99% কর্মক্ষমতা প্রয়োজন হয়, তাহলে আপনাকে সম্ভবত 100টি অনুরোধ পাঠাতে হবে। এটি একটি ভাল উদাহরণ যেখানে কনটেক্সট ক্যাশিং কর্মক্ষমতা উচ্চ রেখে জেমিনি মডেলগুলি ব্যবহার করার সাথে যুক্ত খরচকে উল্লেখযোগ্যভাবে হ্রাস করতে পারে।
FAQs
যখন আমি একটি ক্যোয়ারীতে আরও টোকেন যোগ করি তখন কি আমি মডেল কার্যক্ষমতা হারাবো?
সাধারণত, মডেলে পাস করার জন্য আপনার যদি টোকেনগুলির প্রয়োজন না হয়, তবে সেগুলি পাস করা এড়াতে ভাল। যাইহোক, যদি আপনার কাছে কিছু তথ্য সহ টোকেনগুলির একটি বড় অংশ থাকে এবং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করতে চান, মডেলটি সেই তথ্যটি বের করতে অত্যন্ত সক্ষম (অনেক ক্ষেত্রে 99% নির্ভুলতা পর্যন্ত)।
জেমিনি 1.5 প্রো স্ট্যান্ডার্ড সুই-ইন-এ-হে-স্ট্যাক টেস্টে কীভাবে পারফর্ম করে?
Gemini 1.5 Pro 530k টোকেন পর্যন্ত 100% রিকল এবং 1M টোকেন পর্যন্ত 99.7% রিকল অর্জন করে।
দীর্ঘ-প্রসঙ্গ প্রশ্নগুলির সাথে আমি কীভাবে আমার খরচ কমাতে পারি?
যদি আপনার কাছে টোকেন/প্রসঙ্গগুলির একটি অনুরূপ সেট থাকে যা আপনি অনেকবার পুনরায় ব্যবহার করতে চান, তাহলে প্রসঙ্গ ক্যাশিং সেই তথ্য সম্পর্কে প্রশ্ন জিজ্ঞাসা করার সাথে যুক্ত খরচ কমাতে সাহায্য করতে পারে।
আমি কিভাবে 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডোতে অ্যাক্সেস পেতে পারি?
সমস্ত ডেভেলপারদের এখন Gemini 1.5 Pro সহ 2-মিলিয়ন-টোকেন প্রসঙ্গ উইন্ডোতে অ্যাক্সেস রয়েছে।
প্রসঙ্গ দৈর্ঘ্য মডেল লেটেন্সি প্রভাবিত করে?
যেকোন প্রদত্ত অনুরোধে কিছু নির্দিষ্ট পরিমাণ বিলম্বিতা থাকে, আকার নির্বিশেষে, তবে সাধারণত দীর্ঘ প্রশ্নের উচ্চতর লেটেন্সি থাকবে (প্রথম টোকেনের সময়)।
জেমিনি 1.5 ফ্ল্যাশ এবং জেমিনি 1.5 প্রো এর মধ্যে দীর্ঘ প্রসঙ্গ ক্ষমতাগুলি কি আলাদা?
হ্যাঁ, এই গাইডের বিভিন্ন বিভাগে কিছু সংখ্যা উল্লেখ করা হয়েছে, তবে সাধারণত জেমিনি 1.5 প্রো বেশিরভাগ দীর্ঘ প্রসঙ্গ ব্যবহারের ক্ষেত্রে আরও কার্যকর।