ওল্লামার সাথে জেম্মা চালান, ওল্লামার সাথে জেম্মা চালান

জেমার মতো জেনারেটিভ আর্টিফিশিয়াল ইন্টেলিজেন্স (AI) মডেল চালানো সঠিক হার্ডওয়্যার ছাড়াই চ্যালেঞ্জিং হতে পারে। ওপেন সোর্স ফ্রেমওয়ার্ক যেমন llama.cpp এবং ওল্লামা একটি প্রাক-কনফিগার করা রানটাইম এনভায়রনমেন্ট সেট আপ করে এটিকে সহজ করে তোলে যা আপনাকে কম কম্পিউট রিসোর্স সহ জেমার সংস্করণ চালাতে দেয়। আসলে, llama.cpp এবং ওল্লামা ব্যবহার করে আপনি গ্রাফিক্স প্রসেসিং ইউনিট (GPU) ছাড়াই ল্যাপটপ বা অন্যান্য ছোট কম্পিউটিং ডিভাইসে জেমার সংস্করণ চালাতে পারেন।

কম কম্পিউট রিসোর্স সহ জেমা মডেলগুলি চালানোর জন্য, llama.cpp এবং ওল্লামা ফ্রেমওয়ার্কগুলি Georgi Gerganov Uniified Format (GGUF) মডেল ফাইল ফর্ম্যাটে মডেলগুলির কোয়ান্টাইজড সংস্করণ ব্যবহার করে৷ এই কোয়ান্টাইজড মডেলগুলি ছোট, কম সুনির্দিষ্ট ডেটা ব্যবহার করে অনুরোধগুলি প্রক্রিয়া করার জন্য সংশোধন করা হয়। অনুরোধগুলি প্রক্রিয়া করার জন্য কোয়ান্টাইজড মডেলগুলিতে কম সুনির্দিষ্ট ডেটা ব্যবহার করা সাধারণত মডেলের আউটপুটের গুণমানকে কমিয়ে দেয়, তবে কম্পিউট রিসোর্স খরচ কমানোর সুবিধার সাথে।

এই নির্দেশিকা বর্ণনা করে কিভাবে ওলামা সেট আপ করতে হয় এবং টেক্সট প্রতিক্রিয়া তৈরি করতে জেমা চালানোর জন্য ব্যবহার করতে হয়।

সেটআপ

এই বিভাগটি বর্ণনা করে যে কীভাবে ওল্লামা সেট আপ করতে হয় এবং অনুরোধের প্রতিক্রিয়া জানাতে একটি জেমা মডেলের উদাহরণ প্রস্তুত করতে হয়, যার মধ্যে মডেল অ্যাক্সেসের অনুরোধ করা, সফ্টওয়্যার ইনস্টল করা এবং ওল্লামাতে একটি জেমা মডেল কনফিগার করা সহ।

জেমা মডেলগুলিতে অ্যাক্সেস পান

Gemma মডেলগুলির সাথে কাজ করার আগে, নিশ্চিত করুন যে আপনি Kaggle এর মাধ্যমে অ্যাক্সেসের অনুরোধ করেছেন এবং Gemma ব্যবহারের শর্তাবলী পর্যালোচনা করেছেন৷

ওল্লামা ইনস্টল করুন

আপনি ওল্লামার সাথে জেমা ব্যবহার করার আগে, আপনাকে অবশ্যই আপনার কম্পিউটিং ডিভাইসে ওল্লামা সফ্টওয়্যারটি ডাউনলোড এবং ইনস্টল করতে হবে।

ওল্লামা ডাউনলোড এবং ইনস্টল করতে:

  1. ডাউনলোড পৃষ্ঠায় নেভিগেট করুন: https://ollama.com/download
  2. আপনার অপারেটিং সিস্টেম নির্বাচন করুন, ডাউনলোড বোতামে ক্লিক করুন বা ডাউনলোড পৃষ্ঠায় নির্দেশাবলী অনুসরণ করুন।
  3. ইনস্টলার চালিয়ে অ্যাপ্লিকেশনটি ইনস্টল করুন।
    • উইন্ডোজ: ইনস্টলার *.exe ফাইলটি চালান এবং নির্দেশাবলী অনুসরণ করুন।
    • ম্যাক: জিপ প্যাকেজটি আনপ্যাক করুন এবং ওল্লামা অ্যাপ্লিকেশন ফোল্ডারটিকে আপনার অ্যাপ্লিকেশন ডিরেক্টরিতে সরান।
    • লিনাক্স: ব্যাশ স্ক্রিপ্ট ইনস্টলারে নির্দেশাবলী অনুসরণ করুন।

  4. নিশ্চিত করুন যে ওল্লামা একটি টার্মিনাল উইন্ডো খোলার মাধ্যমে ইনস্টল করা হয়েছে এবং নিম্নলিখিত কমান্ডটি প্রবেশ করান:

    ollama --version

আপনি অনুরূপ একটি প্রতিক্রিয়া দেখতে হবে: ollama version is #.#.## । আপনি যদি এই ফলাফল না পান, তাহলে নিশ্চিত করুন যে ওল্লামা এক্সিকিউটেবল আপনার অপারেটিং সিস্টেম পাথে যোগ করা হয়েছে।

ওল্লামাতে জেমা কনফিগার করুন

ওল্লামা ইনস্টলেশন প্যাকেজ ডিফল্টরূপে কোনো মডেল অন্তর্ভুক্ত করে না। আপনি pull কমান্ড ব্যবহার করে একটি মডেল ডাউনলোড করুন।

ওল্লামাতে জেমা কনফিগার করতে:

  1. একটি টার্মিনাল উইন্ডো খুলে এবং নিম্নলিখিত কমান্ডটি প্রবেশ করে ডিফল্ট Gemma 3 ভেরিয়েন্ট ডাউনলোড এবং কনফিগার করুন:

    ollama pull gemma3

  2. ডাউনলোড সম্পূর্ণ করার পরে আপনি নিশ্চিত করতে পারেন যে মডেলটি নিম্নলিখিত কমান্ডের সাথে উপলব্ধ:

    ollama list

ডিফল্টরূপে, ওল্লামা 4 বিলিয়ন প্যারামিটার, 4-বিট কোয়ান্টাইজড (Q4_0) জেমা মডেল ভেরিয়েন্ট ডাউনলোড করে। আপনি একটি প্যারামিটার আকার নির্দিষ্ট করে Gemma মডেলের অন্যান্য আকার ডাউনলোড এবং ব্যবহার করতে পারেন।

মডেলগুলিকে <model_name>:<tag> হিসাবে নির্দিষ্ট করা হয়েছে। জেমা 3 এর জন্য, চারটি আকার: 1B, 4B, 12B এবং 27B পরামিতি:

  • 1B প্যারামিটার gemma3:1b
  • 4B প্যারামিটার gemma3:4b
  • 12B প্যারামিটার gemma3:12b
  • 27B প্যারামিটার gemma3:27b

আপনি Gemma 3 , Gemma 2 এবং Gemma সহ ওল্লামা ওয়েবসাইটে উপলব্ধ ট্যাগগুলি খুঁজে পেতে পারেন।

প্রতিক্রিয়া তৈরি করুন

যখন আপনি ওল্লামাতে একটি জেমা মডেল ইনস্টল করা শেষ করেন, আপনি ওল্লামার কমান্ড লাইন ইন্টারফেস run কমান্ড ব্যবহার করে অবিলম্বে প্রতিক্রিয়া তৈরি করতে পারেন। ওল্লামা মডেলটি অ্যাক্সেস করার জন্য একটি ওয়েব পরিষেবাও কনফিগার করে, যা আপনি curl কমান্ড ব্যবহার করে পরীক্ষা করতে পারেন।

কমান্ড লাইন থেকে প্রতিক্রিয়া তৈরি করতে:

  • একটি টার্মিনাল উইন্ডোতে, এবং নিম্নলিখিত কমান্ডটি প্রবেশ করান:

    ollama run gemma3 "roses are red"

  • একটি ভিজ্যুয়াল ইনপুট ব্যবহার করতে আপনার চিত্রের পথটি অন্তর্ভুক্ত করুন:

    ollama run gemma3 "caption this image /Users/$USER/Desktop/surprise.png"

ওল্লামা স্থানীয় ওয়েব পরিষেবা ব্যবহার করে একটি প্রতিক্রিয়া তৈরি করতে:

  • একটি টার্মিনাল উইন্ডোতে, এবং নিম্নলিখিত কমান্ডটি প্রবেশ করান:

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma3",\
  "prompt":"roses are red"\
}'

  • একটি ভিজ্যুয়াল ইনপুট ব্যবহার করতে বেস 64-এনকোড করা চিত্রগুলির একটি তালিকা অন্তর্ভুক্ত করুন:

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma3",\
  "prompt":"caption this image",\
  "images":[...]\
}'

টিউন করা জেমা মডেল

ওল্লামা তাৎক্ষণিক ব্যবহারের জন্য অফিসিয়াল জেম্মা মডেলের একটি সেট সরবরাহ করে যা GGUF ফর্ম্যাটে পরিমাপ করা এবং সংরক্ষিত হয়। আপনি GGUF ফর্ম্যাটে রূপান্তর করে ওল্লামার সাথে আপনার নিজের টিউন করা জেমা মডেলগুলি ব্যবহার করতে পারেন৷ ওল্লামা একটি মডেলফাইল ফরম্যাট থেকে GGUF তে টিউন করা মডেলগুলিকে রূপান্তর করার জন্য কিছু ফাংশন অন্তর্ভুক্ত করে। কীভাবে আপনার টিউন করা মডেলটিকে GGUF-এ রূপান্তর করবেন সে সম্পর্কে আরও তথ্যের জন্য, Ollama README দেখুন।

পরবর্তী পদক্ষেপ

একবার আপনি ওল্লামার সাথে জেমমা চালালে, আপনি জেমার জেনারেটিভ এআই ক্ষমতাগুলির সাথে পরীক্ষা করা এবং সমাধানগুলি তৈরি করা শুরু করতে পারেন। ওল্লামার কমান্ড লাইন ইন্টারফেস স্ক্রিপ্টিং সমাধান তৈরির জন্য উপযোগী হতে পারে। ওল্লামা স্থানীয় ওয়েব পরিষেবা ইন্টারফেস পরীক্ষামূলক এবং কম ভলিউম ব্যবহারের অ্যাপ্লিকেশন তৈরির জন্য উপযোগী হতে পারে।