نشر نماذج الذكاء الاصطناعي التوليدي باستخدام LiteRT

توفّر LiteRT عملية نشر عالية الأداء لنماذج الذكاء الاصطناعي التوليدي على جميع المنصات، بما في ذلك الأجهزة الجوّالة وأجهزة الكمبيوتر المكتبي والويب. من خلال الاستفادة بسلاسة من تسريع الأجهزة من وحدات المعالجة المركزية ووحدات معالجة الرسومات ووحدات المعالجة العصبية، يوفّر LiteRT أداءً حديثًا للاستدلال على الذكاء الاصطناعي التوليدي على الجهاز.

يمكنك نشر نماذج الذكاء الاصطناعي التوليدي المعقّدة باستخدام حزمة التكنولوجيا المتكاملة التالية:

  • واجهة Torch Generative API: هي وحدة Python ضمن مكتبة AI Edge Torch لإنشاء نماذج الذكاء الاصطناعي التوليدي في PyTorch وتحويلها. وتوفّر هذه الميزة وحدات إنشاء محسَّنة تضمن تنفيذًا عالي الأداء على الأجهزة. اطّلِع على تحويل نماذج الذكاء الاصطناعي التوليدي في PyTorch لمزيد من التفاصيل.

  • LiteRT-LM: هي طبقة تنسيق متخصّصة مبنية على LiteRT لإدارة التعقيدات الخاصة بالنماذج اللغوية الكبيرة، مثل استنساخ الجلسات وإدارة ذاكرة التخزين المؤقت لقيم المفاتيح، والتخزين المؤقت للطلبات/تسجيل النتائج، والاستدلال المستند إلى الحالة. يمكنك الاطّلاع على مستودع LiteRT-LM على GitHub لمزيد من التفاصيل.

  • أداة التحويل وبيئة التشغيل LiteRT: المحرّك الأساسي الذي يوفّر تحويلاً فعالاً للنماذج وتنفيذًا وتحسينًا لبيئة التشغيل، ما يتيح تسريعًا متقدّمًا للأجهزة على مستوى وحدة المعالجة المركزية ووحدة معالجة الرسومات ووحدة المعالجة العصبية.

مجموعة نماذج الذكاء الاصطناعي التوليدي في LiteRT

تتيح LiteRT مجموعة متزايدة من النماذج الشائعة ذات الوزن المفتوح على منتدى LiteRT Hugging Face. هذه النماذج محوَّلة ومعدَّلة مسبقًا لتكون جاهزة للنشر الفوري، ما يتيح لك الاستفادة من أعلى مستوى أداء على وحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات (GPU) ووحدات المعالجة العصبية (NPU) فورًا.

الإحصاءات المميزة