تحويل نماذج الذكاء الاصطناعي التوليدي في PyTorch للاستنتاج على الجهاز

LiteRT Torch Generative API هي مكتبة عالية الأداء مصمَّمة لإنشاء نماذج PyTorch مستندة إلى المحوّلات وتحويلها إلى تنسيق LiteRT/LiteRT-LM. يتيح ذلك للمطوّرين نشر نماذج الذكاء الاصطناعي التوليدي، وتحديدًا النماذج اللغوية الكبيرة (LLM)، بكل سهولة لإنشاء النصوص والصور على الأجهزة.

تتيح واجهة Torch Generative API تحويل النماذج لتنفيذها على وحدات المعالجة المركزية ووحدات معالجة الرسومات، ويجري حاليًا تطوير إمكانية استخدامها على وحدات المعالجة العصبية. من خلال ربط Torch Generative API مع LiteRT-LM، يمكنك إنشاء تطبيقات متجاوبة تركّز على الخصوصية وتشغّل نماذج توليدية بالكامل على الجهاز.

لمزيد من المعلومات، يُرجى الاطّلاع على مستودع GitHub الخاص بواجهة برمجة التطبيقات Generative Torch API.