জেমিনি মডেলের দীর্ঘ প্রসঙ্গ সহ সুপারচার্জিং এআই কোডিং সহকারী

দীর্ঘ-প্রসঙ্গ উইন্ডোগুলির প্রয়োগের সবচেয়ে উত্তেজনাপূর্ণ সীমান্তগুলির মধ্যে একটি হল কোড তৈরি করা এবং বোঝা। বড় কোডবেসগুলির জন্য জটিল সম্পর্ক এবং নির্ভরতা সম্পর্কে গভীর বোঝার প্রয়োজন, যা ঐতিহ্যগত এআই মডেলগুলি উপলব্ধি করতে লড়াই করে। বৃহৎ প্রসঙ্গ উইন্ডোগুলির সাথে কোডের পরিমাণ প্রসারিত করে, আমরা কোড তৈরি এবং বোঝার ক্ষেত্রে একটি নতুন স্তরের নির্ভুলতা এবং উপযোগিতা আনলক করতে পারি।

আমরা সোর্সগ্রাফের সাথে অংশীদারি করেছি, কোডি এআই কোডিং সহকারীর নির্মাতা যা জেমিনি 1.5 প্রো এবং ফ্ল্যাশের মতো LLM সমর্থন করে, বাস্তব-বিশ্বের কোডিং পরিস্থিতিতে দীর্ঘ প্রসঙ্গ উইন্ডোর সম্ভাবনা অন্বেষণ করতে। AI কোড জেনারেশনে কোড সার্চ এবং ইন্টেলিজেন্সকে একীভূত করার উপর সোর্সগ্রাফের ফোকাস, এবং Palo Alto Networks এবং Leidos-এর মতো বৃহৎ, জটিল কোডবেস সহ এন্টারপ্রাইজগুলিতে কোডির সফল স্থাপনা তাদের এই অন্বেষণের জন্য আদর্শ অংশীদার করে তুলেছে।

সোর্সগ্রাফ কোডির কর্মক্ষমতাকে একটি 1M টোকেন প্রসঙ্গ উইন্ডোর সাথে তুলনা করেছে (গুগলের জেমিনি 1.5 ফ্ল্যাশ ব্যবহার করে) এর উত্পাদন সংস্করণের বিপরীতে। এই সরাসরি তুলনা তাদের প্রসারিত প্রসঙ্গের সুবিধাগুলিকে বিচ্ছিন্ন করার অনুমতি দিয়েছে। তারা প্রযুক্তিগত প্রশ্নের উত্তরের উপর দৃষ্টি নিবদ্ধ করেছিল, বড় কোডবেসের সাথে কাজ করা বিকাশকারীদের জন্য একটি গুরুত্বপূর্ণ কাজ। তারা চ্যালেঞ্জিং প্রশ্নের একটি ডেটাসেট ব্যবহার করেছে যার জন্য গভীর কোড বোঝার প্রয়োজন।

ফলাফল আকর্ষণীয় ছিল. সোর্সগ্রাফের তিনটি মূল বেঞ্চমার্ক-প্রয়োজনীয় রিকল, এসেনশিয়াল কনসিশন এবং হেল্পফুলনেস-দীর্ঘ প্রসঙ্গ ব্যবহার করার সময় উল্লেখযোগ্য উন্নতি দেখায়।

• অপরিহার্য প্রত্যাহার: প্রতিক্রিয়ায় গুরুত্বপূর্ণ তথ্যের অনুপাত উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে।

• অপরিহার্য সংক্ষিপ্তকরণ: প্রতিক্রিয়া দৈর্ঘ্য দ্বারা স্বাভাবিক করা অপরিহার্য তথ্যের অনুপাতও উন্নত হয়েছে, আরও সংক্ষিপ্ত এবং প্রাসঙ্গিক উত্তর নির্দেশ করে।

• সহায়কতা: সামগ্রিক সহায়ক স্কোর, প্রতিক্রিয়া দৈর্ঘ্য দ্বারা স্বাভাবিক করা হয়েছে, উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে, যা আরও ব্যবহারকারী-বান্ধব অভিজ্ঞতা নির্দেশ করে।

তদ্ব্যতীত, দীর্ঘ-প্রসঙ্গ মডেলগুলির ব্যবহার সামগ্রিক হ্যালুসিনেশন হার (বাস্তবগতভাবে ভুল তথ্যের প্রজন্ম) ব্যাপকভাবে হ্রাস করেছে। হ্যালুসিনেশন হার 18.97% থেকে কমে 10.48% হয়েছে, যা সঠিকতা এবং নির্ভরযোগ্যতার একটি উল্লেখযোগ্য উন্নতি।

যদিও দীর্ঘ প্রসঙ্গের সুবিধাগুলি তাৎপর্যপূর্ণ, সেখানে ট্রেডঅফ রয়েছে। প্রথম টোকেনের সময়টি প্রসঙ্গটির দৈর্ঘ্যের সাথে রৈখিকভাবে বৃদ্ধি পায়। এটি প্রশমিত করার জন্য, সোর্সগ্রাফ একটি প্রিফেচিং মেকানিজম এবং মডেল এক্সিকিউশন স্টেট ক্যাশিংয়ের জন্য একটি স্তরযুক্ত প্রসঙ্গ মডেল আর্কিটেকচার প্রয়োগ করেছে। জেমিনি 1.5 ফ্ল্যাশ এবং প্রো লং-কনটেক্সট মডেলগুলির সাথে, এটি 1MB প্রসঙ্গগুলির জন্য 30-40 সেকেন্ড থেকে প্রায় 5 সেকেন্ডে প্রথম টোকেন করার সময়কে অপ্টিমাইজ করেছে – রিয়েল-টাইম কোড তৈরি এবং প্রযুক্তিগত সহায়তার জন্য একটি উল্লেখযোগ্য উন্নতি৷

এই সহযোগিতা কোড বোঝার এবং প্রজন্মের বিপ্লবে দীর্ঘ-প্রসঙ্গ মডেলগুলির রূপান্তরমূলক সম্ভাবনা প্রদর্শন করে। আমরা সোর্সগ্রাফের মতো কোম্পানিগুলির সাথে অংশীদারিত্ব করতে পেরে উত্তেজিত বৃহৎ প্রসঙ্গ উইন্ডোগুলির সাথে আরও উদ্ভাবনী অ্যাপ্লিকেশন এবং দৃষ্টান্তগুলি আনলক করা চালিয়ে যেতে৷

সোর্সগ্রাফের বিশদ মূল্যায়ন পদ্ধতি, বেঞ্চমার্ক এবং বিশ্লেষণের মধ্যে গভীরভাবে ডুব দিতে, উদাহরণ সহ, তাদের গভীরতার ব্লগ পোস্টটি মিস করবেন না।