LiteRT-LM هو إطار عمل للاستنتاج جاهز للاستخدام ومفتوح المصدر ومصمّم لتقديم عمليات نشر نماذج لغوية كبيرة (LLM) عالية الأداء ومتوافقة من عدّة منصات على الأجهزة الطرفية.
- التوافق مع أنظمة التشغيل المختلفة: يمكن تشغيلها على Android وiOS والويب وأجهزة الكمبيوتر المكتبي وأجهزة إنترنت الأشياء (IoT) (مثل Raspberry Pi).
- تسريع الأجهزة: يمكنك الحصول على أعلى مستوى من الأداء وثبات النظام من خلال الاستفادة من مسرّعات وحدة معالجة الرسومات (GPU) ووحدة المعالجة العصبية (NPU) على مستوى الأجهزة المتنوعة.
- تعدّد الوسائط: يمكنك إنشاء تطبيقات باستخدام نماذج لغوية كبيرة تتوافق مع الصور والفيديوهات.
- استخدام الأدوات: إتاحة استخدام وظيفة الاتصال في مهام سير العمل المستندة إلى الذكاء الاصطناعي الوكيل مع فك ترميز محدود لتحسين الدقة.
- توافق النماذج الواسعة: يمكنك تشغيل Gemma وLlama وPhi-4 وQwen وغيرها.
الميزات الجديدة (v0.12.0)
- واجهات برمجة تطبيقات Swift: يمكنك دمج LiteRT-LM في تطبيقات iOS باستخدام تسريع وحدة معالجة الرسومات Metal. راجِع دليل Swift.
- واجهات برمجة تطبيقات JavaScript على الويب: يمكنك تشغيل النماذج داخل متصفّحات الويب بأداء عالٍ باستخدام وحدة معالجة الرسومات (GPU) أو وحدة المعالجة المركزية (CPU) على الويب. راجِع دليل JavaScript.
- تعديل على واجهة سطر الأوامر وواجهة برمجة التطبيقات Python الخاصة بحزمة LiteRT-LM: تتوافق واجهة سطر الأوامر وواجهة برمجة التطبيقات Python الآن مع وحدة المعالجة العصبية (NPU)، بالإضافة إلى وحدتَي المعالجة المركزية (CPU) ومعالجة الرسومات (GPU) على أنظمة التشغيل Linux وmacOS وWindows. يمكنك الاطّلاع على دليل واجهة سطر الأوامر.
- واجهات برمجة تطبيقات Flutter التي يديرها المنتدى: يمكنك إنشاء تطبيقات Flutter متوافقة مع عدّة منصات باستخدام حزمة flutter_gemma التي يديرها المنتدى. يمكنك الاطّلاع على دليل Flutter.
معرض نماذج الذكاء الاصطناعي التوليدي على الجهاز
معرض Google AI Edge هو تطبيق تجريبي مصمّم لعرض إمكانات الذكاء الاصطناعي التوليدي على الجهاز فقط، والتي تعمل بالكامل بلا إنترنت باستخدام LiteRT-LM.
- Google Play: يمكنك استخدام نماذج اللغات الكبيرة (LLM) على أجهزة Android المتوافقة.
- متجر التطبيقات: يمكنك تجربة الذكاء الاصطناعي على جهاز iOS.
- مصدر GitHub: يمكنك الاطّلاع على الرمز المصدري لتطبيق المعرض لمعرفة كيفية دمج LiteRT-LM في مشاريعك.
الطراز المميز: Gemma-4-E2B
- حجم النموذج: 2.58 غيغابايت
تتوفّر تفاصيل فنية إضافية في بطاقة نموذج HuggingFace.
النظام الأساسي (الجهاز) الخلفية الملء المُسبَق (لكل ثانية) فك الترميز (ألف وحدة/ثانية) الوقت اللازم لظهور أول رمز مميز (بالثواني) الحد الأقصى لذاكرة وحدة المعالجة المركزية (ميغابايت) Android (S26 Ultra) وحدة معالجة مركزية (CPU) 557 47 1.8 1733 وحدة معالجة الرسومات 3808 52 0.3 676 iOS (iPhone 17 Pro) وحدة معالجة مركزية (CPU) 532 25 1.9 607 وحدة معالجة الرسومات 2878 56 0.3 1450 Linux (معالج Arm بتردد 2.3 و2.8 غيغا هرتز، بطاقة رسومات NVIDIA GeForce RTX 4090) وحدة معالجة مركزية (CPU) 260 35 4 1628 وحدة معالجة الرسومات 11234 143 0.1 913 macOS (MacBook Pro M4) وحدة معالجة مركزية (CPU) 901 42 1.1 736 وحدة معالجة الرسومات 7835 160 0.1 1623 Windows (Intel LunarLake) وحدة معالجة مركزية (CPU) 435 30 2.4 3505 وحدة معالجة الرسومات 3751 48 0.3 3540 إنترنت الأشياء (Raspberry Pi 5 16GB) وحدة معالجة مركزية (CPU) 133 8 7.8 1546
بدء التطوير
توفّر حزمة LiteRT-LM واجهات برمجة تطبيقات للعديد من لغات البرمجة والمنصات لمساعدتك في إنشاء تطبيقات ذكاء اصطناعي على الجهاز فقط بسرعة. اختَر دليلاً أدناه للبدء:
| اللغة | الحالة | الأفضل في... | الوثائق |
|---|---|---|---|
| CLI | ✅ Stable |
بدء استخدام LiteRT-LM في أقل من دقيقة | دليل واجهة سطر الأوامر |
| Python | ✅ Stable |
إنشاء نماذج أولية وتطوير التطبيقات بسرعة على أجهزة الكمبيوتر المكتبي وأجهزة Raspberry Pi | دليل Python |
| Kotlin | ✅ Stable |
تطبيقات Android الأصلية وأدوات الكمبيوتر المكتبي المستندة إلى JVM محسَّنة لإجراءات Coroutines. | دليل Kotlin |
| Swift | 🚀 معاينة مبكرة |
تكامل أصلي مع iOS وmacOS مع توفير دعم خاص لـ Metal | دليل Swift |
| JavaScript (المواقع الإلكترونية) | 🚀 معاينة مبكرة |
يمكنك نشر النماذج مباشرةً في متصفّحات الويب بأداء عالٍ. | دليل JavaScript |
| Flutter | 🚀 المنتدى |
تطبيقات Flutter
متوافقة مع عدّة منصات
باستخدام
flutter_gemma |
دليل Flutter |
| C++ | ✅ Stable |
أنظمة مدمجة ومنطق أساسي عالي الأداء ومتوافق مع عدّة منصات | دليل C++ |
إنشاء التطبيق من المصدر
إذا أردت تخصيص LiteRT-LM أو إنشائه لإعدادات أجهزة معيّنة، يمكنك تجميعه مباشرةً من رمز المصدر. للحصول على تعليمات مفصّلة حول كيفية إعداد بيئتك وإنشاء إطار العمل، يُرجى الرجوع إلى دليل إنشاء LiteRT-LM وتشغيله على GitHub.
الأنظمة الخلفية والمنصات المتوافقة
| التسارع | Android | iOS | macOS | Windows | Linux | إنترنت الأشياء (IoT) |
|---|---|---|---|---|---|---|
| وحدة المعالجة المركزية | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| وحدة معالجة الرسومات | ✅ | ✅ | ✅ | ✅ | ✅ | - |
| NPU | ✅ | - | - | 🚀 | - | - |
النماذج المتوافقة
يسرد الجدول التالي الطُرز المتوافقة مع LiteRT-LM. للحصول على أرقام أداء أكثر تفصيلاً وبطاقات نماذج، يُرجى الانتقال إلى منتدى LiteRT على Hugging Face.
| الطراز | النوع | الحجم (ميغابايت) | التفاصيل | الجهاز | CPU Prefill (tk/s) | فك ترميز وحدة المعالجة المركزية (إطار في الثانية) | GPU Prefill (الرموز المميزة في الثانية) | فك الترميز باستخدام وحدة معالجة الرسومات (إطارات في الثانية) |
|---|---|---|---|---|---|---|---|---|
| Gemma4-E2B | محادثة | 2583 | بطاقة النموذج | Samsung S26 Ultra | 557 | 47 | 3808 | 52 |
| iPhone 17 Pro | 532 | 25 | 2878 | 57 | ||||
| MacBook Pro M4 | 901 | 42 | 7835 | 160 | ||||
| Gemma4-E4B | محادثة | 3654 | بطاقة النموذج | Samsung S26 Ultra | 195 | 18 | 1293 | 22 |
| iPhone 17 Pro | 159 | 10 | 1189 | 25 | ||||
| MacBook Pro M4 | 277 | 27 | 2560 | 101 | ||||
| Gemma-3n-E2B | محادثة | 2965 | بطاقة النموذج | MacBook Pro M3 | 233 | 28 | - | - |
| Samsung S24 Ultra | 111 | 16 | 816 | 16 | ||||
| Gemma-3n-E4B | محادثة | 4235 | بطاقة النموذج | MacBook Pro M3 | 170 | 20 | - | - |
| Samsung S24 Ultra | 74 | 9 | 548 | 9 | ||||
| Gemma3-1B | محادثة | 1005 | بطاقة النموذج | Samsung S24 Ultra | 177 | 33 | 1191 | 24 |
| FunctionGemma | المجموعة الأساسية | 289 | بطاقة النموذج | هاتف Samsung S25 Ultra | 2238 | 154 | - | - |
| phi-4-mini | محادثة | 3906 | بطاقة النموذج | Samsung S24 Ultra | 67 | 7 | 314 | 10 |
| Qwen2.5-1.5B | محادثة | 1598 | بطاقة النموذج | هاتف Samsung S25 Ultra | 298 | 34 | 1668 | 31 |
| Qwen3-0.6B | محادثة | 586 | بطاقة النموذج | Vivo X300 Pro | 165 | 9 | 580 | 21 |
| Qwen2.5-0.5B | محادثة | 521 | بطاقة النموذج | Samsung S24 Ultra | 251 | 30 | - | - |
الإبلاغ عن المشاكل
إذا واجهت خطأً أو كان لديك طلب ميزة، يمكنك الإبلاغ عنه في مشاكل LiteRT-LM على GitHub.