LiteRT-LM هو إطار عمل مفتوح المصدر جاهز للاستخدام في مرحلة الإنتاج ومصمَّم لتوفير عمليات نشر عالية الأداء للنماذج اللغوية الكبيرة على الأجهزة الطرفية، وذلك على مستوى جميع الأنظمة الأساسية.
الميزات الرئيسية
- التوافق مع أنظمة التشغيل المختلفة: يمكن تشغيلها على Android وiOS والويب وأجهزة الكمبيوتر.
- تسريع الأجهزة:
- وحدة معالجة الرسومات (GPU): تعمل هذه الوحدة من خلال ML Drift، وتتيح استخدام نماذج تعلُّم الآلة والذكاء الاصطناعي التوليدي.
- وحدة المعالجة العصبية (NPU): استنتاج أسرع على الأجهزة التي تتضمّن شرائح Qualcomm وMediaTek (استخدام تجريبي).
- الوسائط المتعددة: إمكانية إدخال الصوت والصورة
- استخدام الأدوات: إتاحة استدعاء الدوال لسير العمل المستند إلى الوكلاء
- توافق واسع النطاق مع النماذج: يمكنك تشغيل Gemma وLlama وPhi-4 وQwen وغيرها.
الأنظمة الخلفية والمنصات المتوافقة
| النظام الأساسي | توافق وحدة المعالجة المركزية | دعم وحدة معالجة الرسومات | توافق NPU |
|---|---|---|---|
| Android | ✅ | ✅ | ✅ |
| iOS | ✅ | ✅ | - |
| macOS | ✅ | ✅ | - |
| Windows | ✅ | ✅ | - |
| Linux | ✅ | ✅ | - |
| مضمّن | ✅ | - | - |
البدء بسرعة
هل تريد تجربة الميزة أولاً؟ قبل المتابعة مع عملية الإعداد الكاملة، يمكنك استخدام الثنائيات المسبقة الإنشاء لأجهزة الكمبيوتر أو تطبيق معرض Google AI Edge للأجهزة الجوّالة لتشغيل LiteRT-LM على الفور.
تطبيقات الأجهزة الجوّالة
Google AI Edge Gallery هو تطبيق تجريبي يتيح لك الاستفادة من قدرات أحدث نماذج الذكاء الاصطناعي التوليدي مباشرةً، وهو يستند إلى LiteRT-LM.
واجهة سطر الأوامر لأجهزة الكمبيوتر
بعد تنزيل ملف lit الثنائي، ما عليك سوى تشغيل lit للاطّلاع على الخيارات.
اختيار المنصة
| اللغة | الحالة | يناسب هذا الخيار... | الوثائق |
|---|---|---|---|
| Kotlin | ✅ إصدار ثابت |
تطبيقات Android الأصلية وأدوات الكمبيوتر المكتبي المستندة إلى JVM تم تحسينها لتتوافق مع Coroutines. | مرجع واجهة برمجة تطبيقات Kotlin |
| C++ | ✅ إصدار ثابت |
أنظمة مدمجة ومنطق أساسي عالي الأداء ومتوافق مع عدة منصات | مرجع واجهة برمجة التطبيقات C++ |
| Swift | 🚀 قيد التطوير |
تتكامل هذه الأداة مع نظامَي التشغيل iOS وmacOS، وتوفّر دعمًا متخصصًا لواجهة برمجة التطبيقات Metal. | قريبًا |
| Python | 🚀 قيد التطوير |
تطوير النماذج الأولية بسرعة، وتطوير البرامج، وكتابة البرامج النصية على أجهزة الكمبيوتر | قريبًا |
النماذج المتوافقة
يعرض الجدول التالي عينة من النماذج المتوافقة تمامًا والتي تم اختبارها باستخدام LiteRT-LM.
ملاحظة: يشير التصنيف "جاهز للمحادثة" إلى النماذج التي تم ضبطها للمحادثة (ضبط التعليمات). غالبًا ما تتطلّب النماذج "الأساسية" ضبطًا دقيقًا لتحقيق أفضل أداء في المحادثات ما لم يتم استخدامها لإكمال مهام معيّنة.
| الطراز | النوع | التكميم | طول السياق | الحجم (ميغابايت) | تنزيل |
|---|---|---|---|---|---|
| Gemma | |||||
| Gemma3-1B | جاهز للمحادثة | 4 بت لكل قناة | 4096 | 557 | تنزيل |
| Gemma-3n-E2B | جاهز للمحادثة | 4 بت لكل قناة | 4096 | 2965 | تنزيل |
| Gemma-3n-E4B | جاهز للمحادثة | 4 بت لكل قناة | 4096 | 4235 | تنزيل |
| FunctionGemma-270M | النموذج الأساسي (يجب إجراء عملية ضبط) | 8 بت لكل قناة | 1024 | 288 | دليل الضبط الدقيق |
| ↪ TinyGarden-270M | عرض توضيحي | 8 بت لكل قناة | 1024 | 288 | تنزيل / تجربة التطبيق |
| Llama | |||||
| Llama-3.2-1B-Instruct | جاهز للمحادثة | 8 بت لكل قناة | 8192 | 1162 | تنزيل |
| Llama-3.2-3B-Instruct | جاهز للمحادثة | 8 بت لكل قناة | 8192 | 2893 | تنزيل |
| Phi | |||||
| phi-4-mini | جاهز للمحادثة | 8 بت لكل قناة | 4096 | 3728 | تنزيل |
| Qwen | |||||
| qwen2.5-1.5b | جاهز للمحادثة | 8 بت لكل قناة | 4096 | 1524 | تنزيل |
الأداء
في ما يلي أرقام الأداء لتشغيل كل نموذج على أجهزة مختلفة. يُرجى العِلم بأنّه يتم قياس معيار الأداء باستخدام 1024 رمزًا مميزًا في مرحلة التعبئة المسبقة و256 رمزًا مميزًا في مرحلة فك الترميز (مع تفعيل قفل الأداء على أجهزة Android).
| الطراز | الجهاز | الخلفية | التعبئة المسبقة (الرموز المميزة/ثانية) | فك الترميز (الرموز المميزة/ثانية) | حجم الاستيعاب |
|---|---|---|---|---|---|
| Gemma3-1B | MacBook Pro (2023 M3) |
وحدة معالجة مركزية (CPU) | 423 | 67 | 4096 |
| Gemma3-1B | Samsung S24 (Ultra) |
وحدة معالجة مركزية (CPU) | 243 | 44 | 4096 |
| Gemma3-1B | Samsung S24 (Ultra) |
وحدة معالجة الرسومات | 1877 | 45 | 4096 |
| Gemma3-1B | Samsung S25 (Ultra) |
NPU | 5837 | 85 | 1280 |
| Gemma-3n-E2B | MacBook Pro (2023 M3) |
وحدة معالجة مركزية (CPU) | 233 | 28 | 4096 |
| Gemma-3n-E2B | Samsung S24 (Ultra) |
وحدة معالجة مركزية (CPU) | 111 | 16 | 4096 |
| Gemma-3n-E2B | Samsung S24 (Ultra) |
وحدة معالجة الرسومات | 816 | 16 | 4096 |
| Gemma-3n-E4B | MacBook Pro (2023 M3) |
وحدة معالجة مركزية (CPU) | 170 | 20 | 4096 |
| Gemma-3n-E4B | Samsung S24 (Ultra) |
وحدة معالجة مركزية (CPU) | 74 | 9 | 4096 |
| Gemma-3n-E4B | Samsung S24 (Ultra) |
وحدة معالجة الرسومات | 548 | 9 | 4096 |
| FunctionGemma | Samsung S25 (Ultra) |
وحدة معالجة مركزية (CPU) | 1718 | 126 | 1024 |
ملاحظة: عند تحميل نموذج معيّن للمرة الأولى على جهاز معيّن، سيستغرق تحميله وقتًا أطول لأنّه يتم تحسين الأوزان. ستكون عمليات التحميل اللاحقة أسرع بسبب التخزين المؤقت.
استضافة النماذج ونشرها
عندما يتجاوز حجم النموذج حدود التنزيل "عبر الأثير" (عادةً ما يكون حوالي 1.5 غيغابايت)، يجب اتّباع استراتيجية جلب عن بُعد.
- Firebase: يُنصح باستخدامه لتنزيل الملفات الكبيرة على أجهزة Android وiOS.
- واجهة برمجة تطبيقات HuggingFace: يمكنك استرداد النماذج مباشرةً باستخدام واجهة برمجة تطبيقات HuggingFace.
الإبلاغ عن المشاكل
إذا واجهت خطأً أو كان لديك طلب ميزة، يُرجى استخدام صفحة مشاكل LiteRT-LM على GitHub.