Gemma কন্টেন্ট জেনারেশন এবং ইনফারেন্স চালান

আপনি যখন একটি জেমা মডেল চালাতে চান তখন দুটি মূল সিদ্ধান্ত নিতে হবে: 1) আপনি কোন জেমা ভেরিয়েন্ট চালাতে চান এবং 2) এটি চালানোর জন্য আপনি কোন AI এক্সিকিউশন ফ্রেমওয়ার্ক ব্যবহার করতে যাচ্ছেন? এই উভয় সিদ্ধান্ত নেওয়ার ক্ষেত্রে একটি মূল সমস্যা আপনার এবং আপনার ব্যবহারকারীদের মডেল চালানোর জন্য উপলব্ধ হার্ডওয়্যারগুলির সাথে সম্পর্কিত।

এই ওভারভিউ আপনাকে এই সিদ্ধান্তগুলি নেভিগেট করতে এবং জেমা মডেলগুলির সাথে কাজ শুরু করতে সহায়তা করে৷ একটি জেমা মডেল চালানোর জন্য সাধারণ পদক্ষেপগুলি নিম্নরূপ:

একটি কাঠামো চয়ন করুন

জেমা মডেলগুলি বিভিন্ন জেনারেটিভ এআই এক্সিকিউশন ফ্রেমওয়ার্কের সাথে সামঞ্জস্যপূর্ণ। একটি জেমা মডেল চালানোর ক্ষেত্রে গুরুত্বপূর্ণ সিদ্ধান্ত নেওয়ার কারণগুলির মধ্যে একটি হল মডেল চালানোর জন্য আপনার কাছে কী কম্পিউটিং সংস্থান রয়েছে (বা থাকবে)। বেশিরভাগ সামঞ্জস্যপূর্ণ এআই ফ্রেমওয়ার্কের জন্য একটি জেমা মডেল কার্যকরভাবে চালানোর জন্য বিশেষ হার্ডওয়্যার, যেমন GPUs বা TPUs প্রয়োজন। Google Colab- এর মতো টুল সীমিত ভিত্তিতে এই বিশেষায়িত গণনা সংস্থানগুলি সরবরাহ করতে পারে। কিছু AI এক্সিকিউশন ফ্রেমওয়ার্ক, যেমন Ollama এবং Gemma.cpp , আপনাকে x86-সামঞ্জস্যপূর্ণ বা ARM আর্কিটেকচার ব্যবহার করে আরও সাধারণ CPU-তে জেমা চালানোর অনুমতি দেয়।

এখানে বিভিন্ন এআই রানটাইম ফ্রেমওয়ার্ক সহ জেমা মডেল চালানোর জন্য গাইড রয়েছে:

নিশ্চিত করুন যে আপনার উদ্দিষ্ট স্থাপনার জেমা মডেল বিন্যাস, যেমন কেরাস নেটিভ ফরম্যাট, সেফটেনসর, বা GGUF, আপনার নির্বাচিত ফ্রেমওয়ার্ক দ্বারা সমর্থিত।

একটি Gemma বৈকল্পিক নির্বাচন করুন

জেমা মডেলগুলি বেশ কয়েকটি ভেরিয়েন্ট এবং আকারে পাওয়া যায়, যার মধ্যে রয়েছে ফাউন্ডেশন বা কোর জেমা মডেল, এবং আরও বিশেষায়িত মডেলের ভেরিয়েন্ট যেমন PaliGemma এবং DataGemma , এবং কাগল এবং Hugging Face- এর মতো সাইটে AI বিকাশকারী সম্প্রদায়ের দ্বারা তৈরি করা অনেকগুলি রূপ। আপনি কোন বৈকল্পিক দিয়ে শুরু করবেন সে সম্পর্কে অনিশ্চিত হলে, সর্বনিম্ন সংখ্যক প্যারামিটার সহ সর্বশেষ Gemma core instruction-tuned (IT) মডেলটি নির্বাচন করুন৷ এই ধরনের জেমা মডেলের কম গণনার প্রয়োজনীয়তা রয়েছে এবং অতিরিক্ত বিকাশের প্রয়োজন ছাড়াই বিভিন্ন ধরণের প্রম্পটে সাড়া দিতে সক্ষম।

জেমা বৈকল্পিক নির্বাচন করার সময় নিম্নলিখিত বিষয়গুলি বিবেচনা করুন:

  • জেমা কোর, এবং অন্যান্য বৈকল্পিক পরিবার যেমন PaliGemma, CodeGemma : Gemma (কোর) সুপারিশ করুন। মূল সংস্করণের বাইরের জেমা ভেরিয়েন্টগুলির মূল মডেলের মতো একই আর্কিটেকচার রয়েছে এবং নির্দিষ্ট কাজগুলিতে আরও ভাল সম্পাদন করার জন্য প্রশিক্ষিত। আপনার আবেদন বা লক্ষ্যগুলি নির্দিষ্ট জেমা ভেরিয়েন্টের বিশেষীকরণের সাথে সারিবদ্ধ না হলে, একটি জেমা কোর, বা বেস, মডেল দিয়ে শুরু করা ভাল।
  • ইন্সট্রাকশন-টিউনড (আইটি), প্রাক-প্রশিক্ষিত (পিটি), ফাইন-টিউনড (এফটি), মিক্সড (মিক্স) : আইটি সুপারিশ করুন।
    • ইন্সট্রাকশন-টিউনড (আইটি) জেমা ভেরিয়েন্ট হল এমন মডেল যেগুলোকে মানুষের ভাষায় বিভিন্ন ধরনের নির্দেশ বা অনুরোধের জবাব দেওয়ার জন্য প্রশিক্ষণ দেওয়া হয়েছে। এই মডেল ভেরিয়েন্টগুলি শুরু করার জন্য সর্বোত্তম জায়গা কারণ তারা পরবর্তী মডেল প্রশিক্ষণ ছাড়াই প্রম্পটে সাড়া দিতে পারে।
    • প্রাক-প্রশিক্ষিত (PT) জেমা ভেরিয়েন্টগুলি এমন মডেল যা ভাষা বা অন্যান্য ডেটা সম্পর্কে অনুমান করতে প্রশিক্ষিত হয়েছে, কিন্তু মানুষের নির্দেশাবলী অনুসরণ করার জন্য প্রশিক্ষিত হয়নি। এই মডেলগুলির কার্যকারিতা কার্যকরভাবে সম্পাদন করতে সক্ষম হওয়ার জন্য অতিরিক্ত প্রশিক্ষণ বা টিউনিং প্রয়োজন এবং এটি গবেষক বা বিকাশকারীদের জন্য যারা মডেল এবং এর স্থাপত্যের ক্ষমতা অধ্যয়ন বা বিকাশ করতে চান তাদের জন্য।
    • ফাইন-টিউনড (এফটি) জেমা ভেরিয়েন্টগুলিকে আইটি ভেরিয়েন্ট হিসাবে বিবেচনা করা যেতে পারে, তবে সাধারণত একটি নির্দিষ্ট কাজ সম্পাদন করতে বা একটি নির্দিষ্ট জেনারেটিভ এআই বেঞ্চমার্কে ভাল সম্পাদন করার জন্য প্রশিক্ষিত হয়। PaliGemma ভেরিয়েন্ট পরিবারে বেশ কয়েকটি FT রূপ রয়েছে।
    • মিশ্র (মিশ্রিত) জেমা ভেরিয়েন্টগুলি হল পালিগেমা মডেলের সংস্করণ যা বিভিন্ন নির্দেশাবলীর সাথে টিউন করা হয়েছে এবং সাধারণ ব্যবহারের জন্য উপযুক্ত।
  • পরামিতি : উপলব্ধ ক্ষুদ্রতম সংখ্যার সুপারিশ করুন । সাধারণভাবে, একটি মডেলের যত বেশি প্যারামিটার আছে, এটি তত বেশি সক্ষম। যাইহোক, বৃহত্তর মডেলগুলি চালানোর জন্য বৃহত্তর এবং আরও জটিল গণনা সংস্থানগুলির প্রয়োজন হয় এবং সাধারণত একটি AI অ্যাপ্লিকেশনের বিকাশকে ধীর করে দেয়। যদি না আপনি ইতিমধ্যেই নির্ধারণ করেন যে একটি ছোট জেমা মডেল আপনার চাহিদা পূরণ করতে পারে না, অল্প সংখ্যক প্যারামিটার সহ একটি বেছে নিন।
  • কোয়ান্টাইজেশন লেভেল: টিউনিং ব্যতীত অর্ধেক নির্ভুলতা (16-বিট) সুপারিশ করুন । কোয়ান্টাইজেশন একটি জটিল বিষয় যা ডেটার আকার এবং নির্ভুলতা এবং এর ফলে একটি জেনারেটিভ এআই মডেল গণনা এবং প্রতিক্রিয়া তৈরির জন্য কতটা মেমরি ব্যবহার করে তার উপর নির্ভর করে। একটি মডেলকে উচ্চ-নির্ভুলতা ডেটা দিয়ে প্রশিক্ষিত করার পরে, যা সাধারণত 32-বিট ফ্লোটিং পয়েন্ট ডেটা, জেমার মতো মডেলগুলিকে 16, 8 বা 4-বিট আকারের মতো নিম্ন নির্ভুল ডেটা ব্যবহার করার জন্য সংশোধন করা যেতে পারে। উল্লেখযোগ্যভাবে কম কম্পিউট এবং মেমরি রিসোর্স ব্যবহার করার সময় এই কোয়ান্টাইজড জেমা মডেলগুলি এখনও কাজগুলির জটিলতার উপর নির্ভর করে ভাল কাজ করতে পারে। যাইহোক, কোয়ান্টাইজড মডেল টিউন করার জন্য টুল সীমিত এবং আপনার নির্বাচিত এআই ডেভেলপমেন্ট ফ্রেমওয়ার্কের মধ্যে উপলব্ধ নাও হতে পারে। সাধারণত, আপনাকে অবশ্যই সম্পূর্ণ নির্ভুলতার সাথে জেমার মতো একটি মডেলকে সূক্ষ্ম-টিউন করতে হবে, তারপর ফলাফলের মডেলটি পরিমাপ করুন।

কী, Google-প্রকাশিত জেমা মডেলের তালিকার জন্য, জেমা মডেলের সাথে শুরু করা , জেমা মডেল তালিকা দেখুন।

প্রজন্ম এবং অনুমানের অনুরোধ চালান

আপনি একটি AI এক্সিকিউশন ফ্রেমওয়ার্ক এবং একটি জেমা ভেরিয়েন্ট নির্বাচন করার পরে, আপনি মডেলটি চালানো শুরু করতে পারেন এবং এটিকে বিষয়বস্তু বা সম্পূর্ণ কাজগুলি তৈরি করতে অনুরোধ করতে পারেন। একটি নির্দিষ্ট ফ্রেমওয়ার্কের সাথে কীভাবে জেমমা চালানো যায় সে সম্পর্কে আরও তথ্যের জন্য, একটি কাঠামো চয়ন করুন বিভাগে লিঙ্ক করা নির্দেশিকাগুলি দেখুন।

প্রম্পট ফরম্যাটিং

সমস্ত নির্দেশ-সুরিত জেমা ভেরিয়েন্টের নির্দিষ্ট প্রম্পট ফর্ম্যাটিং প্রয়োজনীয়তা রয়েছে। এই ফর্ম্যাটিং প্রয়োজনীয়তাগুলির মধ্যে কয়েকটি আপনি Gemma মডেলগুলি চালানোর জন্য যে ফ্রেমওয়ার্ক ব্যবহার করেন তা স্বয়ংক্রিয়ভাবে পরিচালনা করা হয়, কিন্তু আপনি যখন একটি টোকেনাইজারে সরাসরি প্রম্পট ডেটা পাঠাচ্ছেন, তখন আপনাকে অবশ্যই নির্দিষ্ট ট্যাগ যোগ করতে হবে এবং আপনি যে Gemma ভেরিয়েন্ট ব্যবহার করছেন তার উপর নির্ভর করে ট্যাগিংয়ের প্রয়োজনীয়তাগুলি পরিবর্তিত হতে পারে। জেমা ভেরিয়েন্ট প্রম্পট ফরম্যাটিং এবং সিস্টেম নির্দেশাবলী সম্পর্কে তথ্যের জন্য নিম্নলিখিত নির্দেশিকাগুলি দেখুন: