تشغيل Gemma باستخدام Ollama

قد يكون تشغيل نماذج الذكاء الاصطناعي التوليدي، مثل Gemma، صعبًا بدون الأجهزة المناسبة. تسهّل إطارات العمل المفتوحة المصدر، مثل llama.cpp وOllama إجراء ذلك من خلال إعداد بيئة تشغيل تم ضبطها مسبقًا تتيح لك تشغيل إصدارات من Gemma باستخدام موارد حسابية أقل. في الواقع، باستخدام llama.cpp وOllama، يمكنك تشغيل إصدارات من Gemma على كمبيوتر محمول أو جهاز كمبيوتر صغير آخر بدون وحدة معالجة رسومات (GPU).

لتشغيل نماذج Gemma باستخدام موارد حسابية أقل، تستخدِم إطارا عمل llama.cpp و Ollama إصدارات مُشفَّرة من النماذج بتنسيق ملف النماذج الذي تم إنشاؤه باستخدام GPT بالتنسيق الموحّد (GGUF). ويتم تعديل هذه النماذج المحوَّلة إلى قيم رقمية بهدف معالجة الطلبات باستخدام بيانات أصغر حجمًا وأقل دقة. يؤدي استخدام بيانات أقل دقة في نماذج المقيَّمة لمعالجة الطلبات إلى خفض جودة ناتج نماذج المقيَّمة عادةً، ولكن مع الاستفادة أيضًا من خفض تكاليف موارد الحوسبة.

يوضّح هذا الدليل كيفية إعداد واستخدام Ollama لتشغيل Gemma من أجل إنشاء ردود مكتوبة.

ضبط إعدادات الجهاز

يوضّح هذا القسم كيفية إعداد Ollama وإعداد مثيل نموذج Gemma للردّ على الطلبات، بما في ذلك طلب الوصول إلى النموذج وتثبيت البرنامج وتهيئة نموذج Gemma في Ollama.

الوصول إلى نماذج Gemma

قبل العمل مع نماذج Gemma، تأكَّد من أنّك طلبت الوصول عبر Kaggle وراجع بنود استخدام Gemma.

تثبيت Ollama

لاستخدام Gemma مع Ollama، يجب تنزيل برنامج Ollama وتثبيته على جهاز الكمبيوتر.

لتنزيل تطبيق Ollama وتثبيته، اتّبِع الخطوات التالية:

  1. انتقِل إلى صفحة التنزيل: https://ollama.com/download
  2. اختَر نظام التشغيل وانقر على الزر تنزيل أو اتّبِع التعليمات الواردة في صفحة التنزيل.
  3. ثبِّت التطبيق من خلال تشغيل أداة التثبيت.
    • نظام التشغيل Windows: شغِّل ملف التثبيت *.exe واتّبِع التعليمات.
    • أجهزة Mac: عليك فك ضغط حزمة zip ونقل مجلد تطبيق Ollama إلى دليل التطبيقات.
    • نظام التشغيل Linux: اتّبِع التعليمات الواردة في أداة تثبيت النصوص البرمجية bash.

  4. تأكَّد من تثبيت Ollama من خلال فتح نافذة محطة طرفية و إدخال الأمر التالي:

    ollama --version

من المفترض أن يظهر لك ردّ مشابه لما يلي: ollama version is #.#.##. إذا لم تحصل على هذه النتيجة، تأكَّد من إضافة ملف Ollama التنفيذي إلى مسار نظام التشغيل.

ضبط Gemma في Ollama

لا تتضمّن حزمة تثبيت Ollama أي نماذج تلقائيًا. يمكنك تنزيل نموذج باستخدام الأمر pull.

لضبط Gemma في Ollama:

  1. نزِّل إصدار Gemma 2 التلقائي وضبطه من خلال فتح نافذة وحدة طرفية وإدخال الأمر التالي:

    ollama pull gemma2

  2. بعد اكتمال عملية التنزيل، يمكنك التأكّد من توفّر النموذج باستخدام الأمر التالي:

    ollama list

ينزِّل Ollama تلقائيًا طراز Gemma الذي يتضمّن 9 مليارات مَعلمة ويكون مُعدَّلًا بدقة 4 بت (Q4_0). يمكنك أيضًا تنزيل أحجام أخرى من نموذج Gemma واستخدامها من خلال تحديد حجم مَعلمة.

يتم تحديد النماذج على أنّها <model_name>:<tag>. بالنسبة إلى طراز Gemma 2 الذي يتضمّن مليارَي مَعلمة، أدخِل gemma2:2b. بالنسبة إلى نموذج 27 مليار مَعلمة، أدخِل gemma2:27b. يمكنك العثور على العلامات المتاحة على موقع Ollama الإلكتروني، بما في ذلك Gemma 2 و Gemma.

إنشاء الردود

عند الانتهاء من تثبيت نموذج Gemma في Ollama، يمكنك إنشاء الردود على الفور باستخدام الأمر run في واجهة سطر أوامر Ollama. تُعدّل Ollama أيضًا خدمة ويب للوصول إلى النموذج، ويمكنك اختبارها باستخدام الأمر curl.

لإنشاء ردّ من سطر الأوامر:

  • في نافذة وحدة طرفية، أدخِل الأمر التالي:

    ollama run gemma2 "roses are red"

لإنشاء استجابة باستخدام خدمة الويب المحلية Ollama:

  • في نافذة وحدة طرفية، أدخِل الأمر التالي:

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma2",\
  "prompt":"roses are red"\
}'

نماذج Gemma المحسَّنة

توفّر Ollama مجموعة من صيغ نماذج Gemma الرسمية للاستخدام الفوري والتي يتم قياسها وحفظها بتنسيق GGUF. يمكنك استخدام نماذج Gemma التي تم ضبطها مع Ollama من خلال تحويلها إلى تنسيق GGUF. يتضمّن Ollama بعض الدوالّ لتحويل النماذج المحسّنة من تنسيق Modelfile إلى تنسيق GGUF. لمزيد من المعلومات عن كيفية تحويل النموذج المحسَّن إلى GGUF، اطّلِع على ملف README الخاص بـ Ollama.

الخطوات التالية

بعد تشغيل Gemma مع Ollama، يمكنك بدء إجراء التجارب و إنشاء الحلول باستخدام إمكانات الذكاء الاصطناعي التوليدي في Gemma. يمكن أن تكون واجهة سطر الأوامر لتطبيق Ollama مفيدة لإنشاء حلول النصوص البرمجية. يمكن أن تكون واجهة خدمة الويب المحلية Ollama مفيدة لإنشاء تطبيقات تجريبية وتطبيقات ذات معدّل استخدام منخفض.