המערכת האקולוגית של Android כוללת מגוון רחב של מכשירים עם יחידות שונות לעיבוד עצבי (NPU). השימוש ביחידות NPU ייעודיות יכול להאיץ באופן משמעותי את ההסקה של מודלים של LiteRT (TFLite) ולהפחית את צריכת האנרגיה בהשוואה להרצה ב-CPU או ב-GPU, וכך לשפר את חוויית המשתמש באפליקציות שלכם.
ספקי שבבים שמייצרים יחידות NPU מספקים נציגי LiteRT כדי לאפשר לאפליקציה להשתמש בחומרה הספציפית שלהם במכשיר של כל משתמש.
Qualcomm® AI Engine Direct Delegate
התכונה Qualcomm® AI Engine Direct Delegate מאפשרת למשתמשים להריץ מודלים של LiteRT באמצעות זמן הריצה AI Engine Direct. ההעברה מבוססת על Neural Network API של Qualcomm.
ה-Direct Delegate של Qualcomm® AI Engine זמין ב-Maven Central. מידע נוסף זמין במסמכי העזרה בנושא רשת עצבית של Qualcomm.
בקרוב
אנחנו מתכננים להוסיף תמיכה בנציגים מהספקים הבאים בחודשים הקרובים:
- Google Pixel
- Samsung System LSI
- Intel
נמשיך לעדכן אתכם ונספק הוראות נוספות לשימוש בנציגים האלה כדי לרתום את העוצמה של יחידות ה-NPU במודלים של LiteRT (TFLite).