נציג של LiteRT ב-NPU

הסביבה העסקית של Android כוללת מגוון רחב של מכשירים עם יחידות עיבוד נוירונלי (NPUs) שונות. בעזרת ה-NPUs המיוחדים האלה אפשר להאיץ באופן משמעותי את ההסקה של מודלים של LiteRT‏ (TFLite) ולצמצם את צריכת האנרגיה בהשוואה לביצועים ב-CPU או ב-GPU, וכך לשפר את חוויית המשתמש באפליקציות.

ספקי שבבים שמיצרים מעבדי NPU מספקים נציגי LiteRT כדי לאפשר לאפליקציה שלכם להשתמש בחומרה הספציפית שלהם בכל מכשיר של משתמש.

Qualcomm® AI Engine Direct Delegate

Qualcomm® AI Engine Direct Delegate מאפשר למשתמשים להריץ מודלים של LiteRT באמצעות זמן הריצה של AI Engine Direct. הענקת הגישה מבוססת על Neural Network API של Qualcomm.

ה-Qualcomm® AI Engine Direct Delegate זמין ב-Maven Central. למידע נוסף, קראו את מסמכי העזרה של Qualcomm Neural Network.

בקרוב

בחודשים הקרובים נוסיף תמיכה בספקים הבאים:

  • Google Pixel
  • MediaTek
  • Samsung System LSI

אנחנו ממשיכים לעדכן את הנושא ולפרסם הוראות נוספות לשימוש בנציגים האלה כדי לנצל את מלוא העוצמה של מעבדי ה-NPU במודלים שלכם ב-TFLite.