Llama.cpp দিয়ে জেমা চালান।

llama.cpp হলো একটি জনপ্রিয় ওপেন-সোর্স লাইব্রেরি যা দক্ষ লোকাল ইনফারেন্সের জন্য ডিজাইন করা হয়েছে।

দ্রুত শুরু

llama.cpp এর প্রি-বিল্ট সংস্করণ ইনস্টল করুন

উদাহরণ কমান্ড:

# Download and run a model directly from Hugging Face
llama-cli -hf ggml-org/gemma-4-E2B-it-GGUF --prompt "Write a poem about the Kraken."

# Use System Prompt
llama-cli -hf ggml-org/gemma-4-E2B-it-GGUF -sys "You are Hong Gildong." -p "Who are you?"

শুরু করতে এবং একটি সুন্দর ইন্টারফেসে মডেলটি চালাতে, আপনি নিম্নলিখিত কমান্ড দিয়ে একটি সার্ভার চালু করতে পারেন:

llama-server -hf ggml-org/gemma-4-E2B-it-GGUF

এটি এমন একটি সার্ভার তৈরি করে যা আপনাকে একটি ইন্টারফেস ( http://localhost:8080 ) অথবা OpenAI-এন্ডপয়েন্ট ( http://localhost:8080/v1 ) থেকে আপনার মডেলটি অ্যাক্সেস করার সুযোগ দেয়।

জেমার সাথে llama.cpp কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও তথ্য ও নির্দেশাবলীর জন্য অফিসিয়াল রিপোজিটরি দেখুন:

গিটহাবে llama.cpp