মডেল টিউনিং ভূমিকা

প্রম্পট ডিজাইন কৌশল যেমন কিছু শট প্রম্পটিং সবসময় আপনার প্রয়োজনীয় ফলাফল নাও দিতে পারে। নির্দিষ্ট কাজের ক্ষেত্রে মডেলের পারফরম্যান্স উন্নত করতে মডেল টিউনিং ব্যবহার করুন বা নির্দেশাবলী পর্যাপ্ত না হলে মডেলটিকে নির্দিষ্ট আউটপুট প্রয়োজনীয়তা মেনে চলতে সহায়তা করুন এবং আপনার কাছে এমন উদাহরণের একটি সেট রয়েছে যা আপনি যে আউটপুটগুলি চান তা প্রদর্শন করে৷

এই পৃষ্ঠাটি Gemini API টেক্সট পরিষেবার পিছনে পাঠ্য মডেল টিউন করার বিষয়ে নির্দেশিকা প্রদান করে।

মডেল টিউনিং কিভাবে কাজ করে

মডেল টিউনিংয়ের লক্ষ্য হল আপনার নির্দিষ্ট কাজের জন্য মডেলটির কার্যক্ষমতা আরও উন্নত করা। মডেল টিউনিং মডেলটিকে একটি প্রশিক্ষণ ডেটাসেট প্রদান করে কাজ করে যার মধ্যে টাস্কের অনেক উদাহরণ রয়েছে। কুলুঙ্গি কার্যের জন্য, আপনি মডেলের পারফরম্যান্সে উল্লেখযোগ্য উন্নতি পেতে পারেন মডেলটিকে সামান্য সংখ্যক উদাহরণে টিউন করে।

আপনার প্রশিক্ষণের ডেটা প্রম্পট ইনপুট এবং প্রত্যাশিত প্রতিক্রিয়া আউটপুট সহ উদাহরণ হিসাবে গঠন করা উচিত। আপনি সরাসরি Google AI স্টুডিওতে উদাহরণ ডেটা ব্যবহার করে মডেলগুলি টিউন করতে পারেন। লক্ষ্য হল মডেলটিকে সেই আচরণ বা কাজটি চিত্রিত করে অনেক উদাহরণ দিয়ে কাঙ্ক্ষিত আচরণ বা কাজটি অনুকরণ করতে শেখানো।

আপনি যখন একটি টিউনিং কাজ চালান, মডেলটি অতিরিক্ত পরামিতিগুলি শিখে যা এটিকে প্রয়োজনীয় কাজটি সম্পাদন করতে বা কাঙ্ক্ষিত আচরণ শিখতে প্রয়োজনীয় তথ্য এনকোড করতে সহায়তা করে। এই পরামিতিগুলি তখন অনুমান সময়ে ব্যবহার করা যেতে পারে। টিউনিং কাজের আউটপুট হল একটি নতুন মডেল, যা কার্যকরভাবে নতুন শেখা পরামিতি এবং আসল মডেলের সংমিশ্রণ।

সমর্থিত মডেল

নিম্নলিখিত ফাউন্ডেশন মডেলগুলি মডেল টিউনিং সমর্থন করে। শুধুমাত্র একক-পালা পাঠ্য সমাপ্তি সমর্থিত।

• Gemini 1.0 Pro
• text-bison-001

মডেল টিউনিং জন্য কর্মপ্রবাহ

মডেল টিউনিং ওয়ার্কফ্লো নিম্নরূপ:

1. আপনার ডেটাসেট প্রস্তুত করুন।
2. আপনি যদি Google AI স্টুডিও ব্যবহার করেন তাহলে ডেটাসেট আমদানি করুন।
3. একটি টিউনিং কাজ শুরু করুন।

মডেল টিউনিং সম্পূর্ণ হওয়ার পরে, আপনার টিউন করা মডেলের নাম প্রদর্শিত হবে। আপনি একটি নতুন প্রম্পট তৈরি করার সময় ব্যবহার করার জন্য মডেল হিসাবে Google AI স্টুডিওতে এটি নির্বাচন করতে পারেন।

আপনার ডেটাসেট প্রস্তুত করুন

আপনি টিউনিং শুরু করার আগে, মডেলটি টিউন করার জন্য আপনার একটি ডেটাসেট প্রয়োজন৷ সেরা পারফরম্যান্সের জন্য, ডেটাসেটের উদাহরণগুলি উচ্চ মানের, বৈচিত্র্যময় এবং বাস্তব ইনপুট এবং আউটপুটগুলির প্রতিনিধি হওয়া উচিত।

বিন্যাস

আপনার ডেটাসেটে অন্তর্ভুক্ত উদাহরণগুলি আপনার প্রত্যাশিত উত্পাদন ট্র্যাফিকের সাথে মেলে। যদি আপনার ডেটাসেটে নির্দিষ্ট ফরম্যাটিং, কীওয়ার্ড, নির্দেশাবলী বা তথ্য থাকে, তাহলে প্রোডাকশন ডেটা একইভাবে ফরম্যাট করা উচিত এবং একই নির্দেশাবলী থাকা উচিত।

উদাহরণস্বরূপ, যদি আপনার ডেটাসেটের উদাহরণগুলিতে একটি "question:" এবং একটি "context:" অন্তর্ভুক্ত থাকে, তাহলে উত্পাদন ট্র্যাফিককে একটি "question:" এবং একটি "context:" অন্তর্ভুক্ত করার জন্য ফর্ম্যাট করা উচিত যেভাবে এটি প্রদর্শিত হয় একই ক্রমে ডেটাসেটের উদাহরণ। আপনি যদি প্রসঙ্গটি বাদ দেন, তাহলে মডেলটি প্যাটার্নটি চিনতে পারবে না, এমনকি সঠিক প্রশ্নটি ডেটাসেটের উদাহরণে থাকলেও।

আপনার ডেটাসেটের প্রতিটি উদাহরণে একটি প্রম্পট বা প্রস্তাবনা যোগ করাও টিউন করা মডেলের কর্মক্ষমতা উন্নত করতে সাহায্য করতে পারে। দ্রষ্টব্য, যদি আপনার ডেটাসেটে একটি প্রম্পট বা প্রস্তাবনা অন্তর্ভুক্ত করা হয়, তাহলে অনুমানের সময়ে টিউন করা মডেলের প্রম্পটেও এটি অন্তর্ভুক্ত করা উচিত।

প্রশিক্ষণ তথ্য আকার

আপনি 20 টির মতো উদাহরণ সহ একটি মডেল টিউন করতে পারেন এবং অতিরিক্ত ডেটা সাধারণত প্রতিক্রিয়াগুলির গুণমানকে উন্নত করে৷ আপনার আবেদনের উপর নির্ভর করে আপনার 100 থেকে 500টি উদাহরণ টার্গেট করা উচিত। নিম্নলিখিত সারণী বিভিন্ন সাধারণ কাজের জন্য একটি পাঠ্য মডেল টিউন করার জন্য প্রস্তাবিত ডেটাসেট আকার দেখায়:

টিউনিং ডেটাসেট আপলোড করুন

ডেটা হয় API ব্যবহার করে বা Google AI স্টুডিওতে আপলোড করা ফাইলগুলির মাধ্যমে ইনলাইনে পাস করা হয়।

একটি ফাইল থেকে ডেটা আমদানি করতে আমদানি বোতামটি ব্যবহার করুন বা আপনার টিউনিং ডেটাসেট হিসাবে আমদানি করার উদাহরণ সহ একটি কাঠামোগত প্রম্পট চয়ন করুন৷

ক্লায়েন্ট লাইব্রেরি

ক্লায়েন্ট লাইব্রেরি ব্যবহার করতে, createTunedModel কলে ডেটা ফাইল প্রদান করুন। ফাইল সাইজ সীমা 4MB. শুরু করতে পাইথনের সাথে টিউনিং কুইকস্টার্ট দেখুন।

কার্ল

Curl ব্যবহার করে REST API কল করতে, training_data আর্গুমেন্টে JSON ফর্ম্যাটে প্রশিক্ষণের উদাহরণ দিন। শুরু করতে কার্লের সাথে টিউনিং কুইকস্টার্ট দেখুন।

উন্নত টিউনিং সেটিংস

একটি টিউনিং কাজ তৈরি করার সময়, আপনি নিম্নলিখিত উন্নত সেটিংস নির্দিষ্ট করতে পারেন:

• Epochs - সমগ্র প্রশিক্ষণ সেটের উপর একটি সম্পূর্ণ প্রশিক্ষণ পাস যাতে প্রতিটি উদাহরণ একবার প্রক্রিয়া করা হয়েছে।
• ব্যাচের আকার - একটি প্রশিক্ষণের পুনরাবৃত্তিতে ব্যবহৃত উদাহরণের সেট। ব্যাচের আকার একটি ব্যাচে উদাহরণের সংখ্যা নির্ধারণ করে।
• শেখার হার - একটি ফ্লোটিং-পয়েন্ট সংখ্যা যা অ্যালগরিদমকে বলে যে প্রতিটি পুনরাবৃত্তিতে মডেল পরামিতিগুলিকে কতটা জোরালোভাবে সামঞ্জস্য করতে হবে। উদাহরণস্বরূপ, 0.3 এর শেখার হার 0.1 এর শেখার হারের চেয়ে তিনগুণ বেশি শক্তিশালীভাবে ওজন এবং পক্ষপাতগুলিকে সামঞ্জস্য করবে। উচ্চ এবং নিম্ন শিক্ষার হারগুলির নিজস্ব অনন্য ট্রেড-অফ রয়েছে এবং আপনার ব্যবহারের ক্ষেত্রের উপর ভিত্তি করে সামঞ্জস্য করা উচিত।
• শেখার হার গুণক - হার গুণক মডেলের মূল শেখার হার পরিবর্তন করে। 1 এর মান মডেলের মূল শিক্ষার হার ব্যবহার করে। 1-এর বেশি মান শেখার হার বাড়ায় এবং 1 এবং 0-এর মধ্যে মান শেখার হার কমিয়ে দেয়।

প্রস্তাবিত কনফিগারেশন

নিম্নলিখিত টেবিলটি একটি ফাউন্ডেশন মডেল টিউন করার জন্য প্রস্তাবিত কনফিগারেশনগুলি দেখায়:

ক্ষতির বক্ররেখা দেখায় যে মডেলের ভবিষ্যদ্বাণী প্রতিটি যুগের পরে প্রশিক্ষণের উদাহরণগুলিতে আদর্শ ভবিষ্যদ্বাণী থেকে কতটা বিচ্যুত হয়৷ আদর্শভাবে আপনি মালভূমির ঠিক আগে বক্ররেখার সর্বনিম্ন বিন্দুতে প্রশিক্ষণ বন্ধ করতে চান। উদাহরণস্বরূপ, নীচের গ্রাফটি প্রায় 4-6 যুগে ক্ষতি বক্ররেখা মালভূমি দেখায় যার অর্থ আপনি Epoch প্যারামিটারটি 4 এ সেট করতে পারেন এবং এখনও একই কার্যক্ষমতা পেতে পারেন।

টিউনিং কাজের স্থিতি পরীক্ষা করুন

আপনি Google AI Studio UI-তে My Library ট্যাবের অধীনে বা Gemini API-এ টিউন করা মডেলের metadata বৈশিষ্ট্য ব্যবহার করে আপনার টিউনিং কাজের স্থিতি পরীক্ষা করতে পারেন।

সমস্যা সমাধান করুন

এই বিভাগে আপনার টিউন করা মডেল তৈরি করার সময় আপনি যে ত্রুটির সম্মুখীন হতে পারেন তার সমাধান করার টিপস অন্তর্ভুক্ত করে৷

প্রমাণীকরণ

API এবং ক্লায়েন্ট লাইব্রেরি ব্যবহার করে টিউন করার জন্য ব্যবহারকারীর প্রমাণীকরণ প্রয়োজন। একটি API কী একাই যথেষ্ট নয়। আপনি যদি একটি 'PermissionDenied: 403 Request had insufficient authentication scopes' ত্রুটি দেখতে পান, তাহলে আপনাকে ব্যবহারকারীর প্রমাণীকরণ সেট আপ করতে হবে।

পাইথনের জন্য OAuth শংসাপত্র কনফিগার করতে OAuth সেটআপ টিউটোরিয়াল পড়ুন।

বাতিল মডেল

কাজ শেষ হওয়ার আগে আপনি যেকোন সময় মডেল টিউনিং কাজ বাতিল করতে পারেন। যাইহোক, একটি বাতিল মডেলের অনুমান কর্মক্ষমতা অপ্রত্যাশিত, বিশেষ করে যদি টিউনিং কাজটি প্রশিক্ষণের প্রথম দিকে বাতিল করা হয়। যদি আপনি বাতিল করে থাকেন কারণ আপনি আগের যুগে প্রশিক্ষণ বন্ধ করতে চান, তাহলে আপনার একটি নতুন টিউনিং কাজ তৈরি করা উচিত এবং যুগটিকে একটি কম মান সেট করা উচিত।

এরপর কি

• দায়িত্বশীল AI সেরা অনুশীলন সম্পর্কে জানুন।
• পাইথনের সাথে টিউনিং কুইকস্টার্ট বা কার্ল দিয়ে টিউনিং কুইকস্টার্ট দিয়ে শুরু করুন।