تشغيل النماذج اللغوية الكبيرة على الجهاز باستخدام LiteRT-LM
إطار عمل استنتاج مفتوح المصدر وجاهز للاستخدام في مرحلة الإنتاج ومصمَّم لتقديم عمليات نشر نماذج لغوية كبيرة (LLM) عالية الأداء ومتوافقة مع مختلف الأنظمة الأساسية على الأجهزة الطرفية
لماذا LiteRT-LM؟
عبر أنظمة أساسية متعددة
نشر نماذج اللغات الكبيرة على أجهزة Android وiOS والويب وأجهزة الكمبيوتر
تسريع الأجهزة
تحسين الأداء إلى أقصى حدّ باستخدام تسريع وحدة معالجة الرسومات (GPU) ووحدة المعالجة العصبية (NPU)
إمكانات الذكاء الاصطناعي التوليدي الواسعة
إتاحة استخدام النماذج اللغوية الكبيرة الشائعة بالإضافة إلى إمكانية استخدام وسائط متعددة (الصور والفيديوهات والصوت) والأدوات
النماذج المتوافقة
يمكنك تشغيل أحدث النماذج المفتوحة المصدر والمحسّنة للحوسبة الطرفية، بما في ذلك Gemma-3n وGemma-3 وFunctionGemma وTranslateGemma وQwen3 وPhi-4 وغيرها.
بدء التطوير
Android
تطبيقات Android الأصلية وأدوات الكمبيوتر المكتبي المستندة إلى JVM
iOS
تكامل أصلي مع نظامَي التشغيل iOS وmacOS مع توفير دعم متخصص لواجهة برمجة التطبيقات Metal (ستتوفّر واجهات برمجة تطبيقات Swift قريبًا)
Web
يمكن تشغيلها مباشرةً في المتصفّح باستخدام WebAssembly وWebGPU (ستتوفّر قريبًا واجهات برمجة تطبيقات JavaScript).