يوضّح هذا المستند طُرقًا وأدوات مختلفة لتفعيل نماذج Gemma وتشغيلها على الأجهزة الجوّالة، بما في ذلك استخدام تطبيق Google AI Edge Gallery وMediaPipe LLM Inference API.
للحصول على معلومات حول تحويل نموذج Gemma تم ضبطه بدقة إلى إصدار LiteRT، يُرجى الاطّلاع على دليل التحويل.
تطبيق "معرض Google AI Edge"
لمشاهدة واجهات LLM Inference APIs أثناء العمل واختبار نموذج Task Bundle، يمكنك استخدام تطبيق Google AI Edge Gallery. يوفّر هذا التطبيق واجهة مستخدم للتفاعل مع النماذج اللغوية الكبيرة (LLM) على الجهاز فقط، ما يتيح لك إجراء ما يلي:
- استيراد النماذج: يمكنك تحميل نماذج
.taskالمخصّصة إلى التطبيق. - ضبط المَعلمات: اضبط الإعدادات، مثل درجة الحرارة وtop-k.
- إنشاء نص: أدخِل الطلبات واطّلِع على ردود النموذج.
- اختبار الأداء: قيِّم سرعة النموذج ودقته.
للحصول على دليل تفصيلي حول كيفية استخدام تطبيق Google AI Edge Gallery، بما في ذلك تعليمات استيراد النماذج الخاصة بك، يُرجى الرجوع إلى المستندات الخاصة بالتطبيق.
MediaPipe LLM
يمكنك تشغيل نماذج Gemma على الأجهزة الجوّالة باستخدام واجهة برمجة التطبيقات MediaPipe LLM Inference API. تعمل واجهة LLM Inference API كبرنامج تضمين للنماذج اللغوية الكبيرة، ما يتيح لك تشغيل نماذج Gemma على الجهاز لتنفيذ مهام شائعة تتضمّن تحويل النص إلى نص، مثل استرجاع المعلومات وصياغة الرسائل الإلكترونية وتلخيص المستندات.
تتوفّر واجهة برمجة التطبيقات LLM Inference API على منصات الأجهزة الجوّالة التالية:
لمزيد من المعلومات، يُرجى الرجوع إلى مستندات MediaPipe LLM Inference.