সঠিক হার্ডওয়্যার ছাড়া জেমার মতো জেনারেটিভ আর্টিফিশিয়াল ইন্টেলিজেন্স (AI) মডেল চালানো বেশ কঠিন হতে পারে। llama.cpp এবং Ollama- এর মতো ওপেন সোর্স ফ্রেমওয়ার্কগুলো একটি পূর্ব-কনফিগার করা রানটাইম এনভায়রনমেন্ট তৈরি করে এই কাজটি সহজ করে দেয়, যার ফলে আপনি কম কম্পিউট রিসোর্স ব্যবহার করে জেমার বিভিন্ন সংস্করণ চালাতে পারেন। প্রকৃতপক্ষে, llama.cpp এবং Ollama ব্যবহার করে আপনি গ্রাফিক্স প্রসেসিং ইউনিট (GPU) ছাড়াই একটি ল্যাপটপ বা অন্য কোনো ছোট কম্পিউটিং ডিভাইসে জেমার বিভিন্ন সংস্করণ চালাতে পারবেন।
কম কম্পিউট রিসোর্স ব্যবহার করে জেমা মডেল চালানোর জন্য, llama.cpp এবং Ollama ফ্রেমওয়ার্কগুলো জর্জি গারগানভ ইউনিফাইড ফরম্যাট (GGUF) মডেল ফাইল ফরম্যাটে মডেলগুলোর কোয়ান্টাইজড সংস্করণ ব্যবহার করে। এই কোয়ান্টাইজড মডেলগুলোকে ছোট ও কম নির্ভুল ডেটা ব্যবহার করে রিকোয়েস্ট প্রসেস করার জন্য পরিবর্তন করা হয়। কোয়ান্টাইজড মডেলে রিকোয়েস্ট প্রসেস করার জন্য কম নির্ভুল ডেটা ব্যবহার করলে সাধারণত মডেলের আউটপুটের মান কমে যায়, কিন্তু এর সুবিধা হলো এতে কম্পিউট রিসোর্সের খরচও কমে আসে।
এই নির্দেশিকায় বর্ণনা করা হয়েছে কীভাবে টেক্সট উত্তর তৈরি করার জন্য জেমা (Gemma) চালাতে ওলামা (Ollama) সেট আপ এবং ব্যবহার করতে হয়।
সেটআপ
এই বিভাগে Ollama সেট আপ করার এবং অনুরোধে সাড়া দেওয়ার জন্য একটি Gemma মডেল ইনস্ট্যান্সকে প্রস্তুত করার পদ্ধতি বর্ণনা করা হয়েছে; যার মধ্যে রয়েছে মডেল অ্যাক্সেসের জন্য অনুরোধ করা, সফ্টওয়্যার ইনস্টল করা এবং Ollama-তে একটি Gemma মডেল কনফিগার করা।
ওলামা ইনস্টল করুন
Ollama-এর সাথে Gemma ব্যবহার করার আগে, আপনাকে অবশ্যই আপনার কম্পিউটিং ডিভাইসে Ollama সফটওয়্যারটি ডাউনলোড এবং ইনস্টল করতে হবে।
Ollama ডাউনলোড এবং ইনস্টল করতে:
- ডাউনলোড পৃষ্ঠায় যান: https://ollama.com/download
- আপনার অপারেটিং সিস্টেম নির্বাচন করুন, ডাউনলোড বোতামে ক্লিক করুন অথবা ডাউনলোড পৃষ্ঠার নির্দেশাবলী অনুসরণ করুন।
- ইনস্টলারটি চালিয়ে অ্যাপ্লিকেশনটি ইনস্টল করুন।
- উইন্ডোজ: ইনস্টলার *.exe ফাইলটি চালান এবং নির্দেশাবলী অনুসরণ করুন।
- ম্যাক: জিপ প্যাকেজটি আনপ্যাক করুন এবং Ollama অ্যাপ্লিকেশন ফোল্ডারটি আপনার Applications ডিরেক্টরিতে সরান।
- লিনাক্স: ব্যাশ স্ক্রিপ্ট ইনস্টলারের নির্দেশাবলী অনুসরণ করুন।
একটি টার্মিনাল উইন্ডো খুলে নিম্নলিখিত কমান্ডটি প্রবেশ করিয়ে Ollama ইনস্টল করা আছে কিনা তা নিশ্চিত করুন:
ওল্লামা -- সংস্করণ
আপনি এরকম একটি প্রতিক্রিয়া দেখতে পাবেন: ollama version is #.#.## । যদি আপনি এই ফলাফলটি না পান, তবে নিশ্চিত করুন যে Ollama এক্সিকিউটেবলটি আপনার অপারেটিং সিস্টেমের পাথে যুক্ত করা আছে।
ওলামাতে জেমা কনফিগার করুন
ওলামা ইনস্টলেশন প্যাকেজে ডিফল্টভাবে কোনো মডেল অন্তর্ভুক্ত থাকে না। আপনি ` pull কমান্ড ব্যবহার করে একটি মডেল ডাউনলোড করতে পারেন।
Ollama-তে Gemma কনফিগার করতে:
একটি টার্মিনাল উইন্ডো খুলে নিম্নলিখিত কমান্ডটি প্রবেশ করিয়ে ডিফল্ট Gemma 4 ভ্যারিয়েন্টটি ডাউনলোড ও কনফিগার করুন:
ওল্লামা পুল জেম্মা৪
ডাউনলোড সম্পন্ন হওয়ার পর, নিম্নলিখিত কমান্ডের মাধ্যমে মডেলটি উপলব্ধ আছে কিনা তা আপনি নিশ্চিত করতে পারেন:
ওল্লামা তালিকা
মডেলগুলো <model_name>:<tag> হিসেবে নির্দিষ্ট করা হয়। Gemma 4-এর জন্য চারটি আকার রয়েছে: E2B, E4B, 26B এবং 31B প্যারামিটারসমূহ:
- E2B প্যারামিটার
gemma4:e2b - E4B প্যারামিটার
gemma4:e4b - 26B A4B প্যারামিটার
gemma4:26b - 31B প্যারামিটার
gemma4:31b
আপনি Ollama ওয়েবসাইটে উপলব্ধ ট্যাগগুলো খুঁজে নিতে পারেন, যার মধ্যে রয়েছে Gemma 4 , Gemma 3n , Gemma 3 , Gemma 2 এবং Gemma ।
প্রতিক্রিয়া তৈরি করুন
Ollama-তে একটি Gemma মডেল ইনস্টল করা শেষ হলে, আপনি Ollama-র কমান্ড লাইন ইন্টারফেসের run কমান্ড ব্যবহার করে তাৎক্ষণিকভাবে রেসপন্স তৈরি করতে পারেন। Ollama মডেলটি অ্যাক্সেস করার জন্য একটি ওয়েব সার্ভিসও কনফিগার করে, যা আপনি ' curl কমান্ড ব্যবহার করে পরীক্ষা করতে পারেন।
কমান্ড লাইন থেকে প্রতিক্রিয়া তৈরি করতে:
টার্মিনাল উইন্ডোতে, এবং নিম্নলিখিত কমান্ডটি প্রবেশ করান:
ollama run gemma4 "roses are red"ভিজ্যুয়াল ইনপুট ব্যবহার করতে আপনার ছবির পাথটি অন্তর্ভুক্ত করুন:
ollama run gemma4 "caption this image /Users/$USER/Desktop/surprise.png"
ওলামা স্থানীয় ওয়েব পরিষেবা ব্যবহার করে একটি প্রতিক্রিয়া তৈরি করতে:
টার্মিনাল উইন্ডোতে, এবং নিম্নলিখিত কমান্ডটি প্রবেশ করান:
curl http://localhost:11434/api/generate -d '{\ "model": "gemma4",\ "prompt":"roses are red"\ }'ভিজ্যুয়াল ইনপুট হিসেবে ব্যবহার করার জন্য বেস৬৪-এনকোডেড ছবিগুলোর একটি তালিকা অন্তর্ভুক্ত করুন:
curl http://localhost:11434/api/generate -d '{\ "model": "gemma4",\ "prompt":"caption this image",\ "images":[...]\ }'
টিউনড জেমা মডেল
Ollama তাৎক্ষণিক ব্যবহারের জন্য কিছু অফিসিয়াল Gemma মডেল ভ্যারিয়েন্ট প্রদান করে, যেগুলো কোয়ান্টাইজড এবং GGUF ফরম্যাটে সংরক্ষিত থাকে। আপনি আপনার নিজের টিউন করা Gemma মডেলগুলোকে GGUF ফরম্যাটে রূপান্তর করে Ollama-এর সাথে ব্যবহার করতে পারেন। টিউন করা মডেলগুলোকে Modelfile ফরম্যাট থেকে GGUF-এ রূপান্তর করার জন্য Ollama-তে কিছু ফাংশন অন্তর্ভুক্ত রয়েছে। আপনার টিউন করা মডেলকে কীভাবে GGUF-এ রূপান্তর করবেন সে সম্পর্কে আরও তথ্যের জন্য, Ollama README দেখুন।
পরবর্তী পদক্ষেপ
একবার Ollama-এর সাথে Gemma চালু হয়ে গেলে, আপনি Gemma-এর জেনারেটিভ এআই সক্ষমতা ব্যবহার করে পরীক্ষা-নিরীক্ষা এবং সমাধান তৈরি করা শুরু করতে পারেন। স্ক্রিপ্টিং সমাধান তৈরির জন্য Ollama-এর কমান্ড লাইন ইন্টারফেসটি কার্যকর হতে পারে। পরীক্ষামূলক এবং স্বল্প-ব্যবহারের অ্যাপ্লিকেশন তৈরির জন্য Ollama লোকাল ওয়েব সার্ভিস ইন্টারফেসটি কার্যকর হতে পারে।
- স্থানীয়ভাবে চালিত একটি ব্যক্তিগত কোড সহকারী তৈরি করতে ওলামা ওয়েব পরিষেবা ব্যবহার করে ইন্টিগ্রেট করার চেষ্টা করুন।
- জেমা মডেলকে কীভাবে ফাইন-টিউন করতে হয় তা শিখুন।
- Google Cloud Run পরিষেবা ব্যবহার করে Ollama-এর সাথে Gemma কীভাবে চালাতে হয় তা জানুন।
- গুগল ক্লাউডের সাথে কীভাবে জেমা চালানো যায়, সে সম্পর্কে জানুন।