تشغيل Gemma باستخدام Llama.cpp

‫llama.cpp هي مكتبة شائعة مفتوحة المصدر مصمّمة للاستدلال الفعّال على الجهاز.

البدء بسرعة

تثبيت إصدار مُعدّ مسبقًا من llama.cpp

مثال على الطلب:

# Download and run a model directly from Hugging Face
llama-cli -hf ggml-org/gemma-4-E2B-it-GGUF --prompt "Write a poem about the Kraken."

# Use System Prompt
llama-cli -hf ggml-org/gemma-4-E2B-it-GGUF -sys "You are Hong Gildong." -p "Who are you?"

لبدء تشغيل النموذج في واجهة سهلة الاستخدام، يمكنك بدء تشغيل خادم باستخدام:

llama-server -hf ggml-org/gemma-4-E2B-it-GGUF

يؤدي ذلك إلى إنشاء خادم يتيح لك الوصول إلى النموذج إما من خلال واجهة (http://localhost:8080) أو من خلال الوصول إلى نقطة نهاية OpenAI (http://localhost:8080/v1).

لمزيد من المعلومات والتعليمات حول كيفية استخدام llama.cpp مع Gemma، يُرجى الرجوع إلى المستودع الرسمي:

llama.cpp على GitHub