تحويل نماذج الذكاء الاصطناعي التوليدي في PyTorch للاستنتاج على الجهاز

AI Edge Torch Generative API هي مكتبة عالية الأداء مصمَّمة لإنشاء نماذج PyTorch مستندة إلى المحوّلات وتحويلها إلى تنسيق LiteRT/LiteRT-LM. يتيح ذلك للمطوّرين نشر نماذج الذكاء الاصطناعي التوليدي، وخاصةً النماذج اللغوية الكبيرة (LLM)، بكل سهولة لإنشاء النصوص والصور على الأجهزة.

تتيح واجهة Torch Generative API تحويل النماذج لتنفيذها على وحدة المعالجة المركزية ووحدة معالجة الرسومات، ويجري العمل على توفير إمكانية تنفيذها على وحدة المعالجة العصبية. من خلال ربط Torch Generative API مع LiteRT-LM، يمكنك إنشاء تطبيقات متجاوبة تركّز على الخصوصية وتشغّل نماذج توليدية على الجهاز بالكامل.

لمزيد من المعلومات، يُرجى الاطّلاع على مستودع GitHub لواجهة برمجة التطبيقات Generative Torch API.