הסביבה העסקית של Android כוללת מגוון רחב של מכשירים עם יחידות עיבוד נוירונלי (NPUs) שונות. בעזרת ה-NPUs המיוחדים האלה אפשר להאיץ באופן משמעותי את ההסקה של מודלים של LiteRT (TFLite) ולצמצם את צריכת האנרגיה בהשוואה לביצועים ב-CPU או ב-GPU, וכך לשפר את חוויית המשתמש באפליקציות.
ספקי שבבים שמיצרים מעבדי NPU מספקים נציגי LiteRT כדי לאפשר לאפליקציה שלכם להשתמש בחומרה הספציפית שלהם בכל מכשיר של משתמש.
Qualcomm® AI Engine Direct Delegate
Qualcomm® AI Engine Direct Delegate מאפשר למשתמשים להריץ מודלים של LiteRT באמצעות זמן הריצה של AI Engine Direct. הענקת הגישה מבוססת על Neural Network API של Qualcomm.
ה-Qualcomm® AI Engine Direct Delegate זמין ב-Maven Central. למידע נוסף, קראו את מסמכי העזרה של Qualcomm Neural Network.
בקרוב
בחודשים הקרובים נוסיף תמיכה בספקים הבאים:
- Google Pixel
- MediaTek
- Samsung System LSI
אנחנו ממשיכים לעדכן את הנושא ולפרסם הוראות נוספות לשימוש בנציגים האלה כדי לנצל את מלוא העוצמה של מעבדי ה-NPU במודלים שלכם ב-TFLite.