نشر نماذج الذكاء الاصطناعي التوليدي باستخدام LiteRT

توفّر LiteRT عملية نشر عالية الأداء لنماذج الذكاء الاصطناعي التوليدي على جميع المنصات، بما في ذلك الأجهزة الجوّالة وأجهزة الكمبيوتر المكتبي والويب. من خلال الاستفادة بسلاسة من تسريع الأجهزة من وحدات المعالجة المركزية ووحدات معالجة الرسومات ووحدات معالجة الشبكات العصبية، يوفّر LiteRT أداءً حديثًا للاستدلال على الذكاء الاصطناعي التوليدي على الجهاز.

يمكنك نشر نماذج الذكاء الاصطناعي التوليدي المعقّدة باستخدام حزمة التكنولوجيا المتكاملة التالية:

  • Torch Generative API: وحدة Python ضمن مكتبة LiteRT Torch لإنشاء نماذج PyTorch GenAI وتحويلها وتوفّر هذه المكتبة وحدات إنشاء محسّنة تضمن تنفيذًا عالي الأداء على الأجهزة. اطّلِع على تحويل نماذج الذكاء الاصطناعي التوليدي في PyTorch لمزيد من التفاصيل.

  • LiteRT-LM: هي طبقة تنسيق متخصّصة مبنية على LiteRT لإدارة التعقيدات الخاصة بالنماذج اللغوية الكبيرة، مثل استنساخ الجلسات وإدارة ذاكرة التخزين المؤقت لقيم المفاتيح، والتخزين المؤقت للطلبات/تسجيل النتائج، والاستدلال المستند إلى الحالة. يمكنك الاطّلاع على مستودع LiteRT-LM على GitHub لمزيد من التفاصيل.

  • أداة التحويل وبيئة التشغيل LiteRT: المحرّك الأساسي الذي يوفّر تحويلاً فعالاً للنماذج وتنفيذًا وتحسينًا لبيئة التشغيل، ما يتيح تسريعًا متقدّمًا للأجهزة على مستوى وحدة المعالجة المركزية ووحدة معالجة الرسومات ووحدة المعالجة العصبية.

LiteRT GenAI Model Zoo

تتيح LiteRT مجموعة متزايدة من النماذج الشائعة ذات الوزن المفتوح على منتدى LiteRT Hugging Face. هذه النماذج محوَّلة ومعدَّلة مسبقًا لتكون جاهزة للنشر الفوري، ما يتيح لك الاستفادة من أعلى أداء ممكن على وحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات (GPU) ووحدات المعالجة العصبية (NPU) فورًا.

الإحصاءات المميّزة