LiteRT תומך ב-Qualcomm AI Engine Direct (QNN) באמצעות Compiled Model API גם עבור AOT וגם עבור JIT. בדף הזה ריכזנו את המידע שהיה בעבר במדריך לספקים בכתובת eap/.
הגדרת סביבת פיתוח
אלה הדרישות של סביבת הפיתוח של Qualcomm AI Engine Direct:
- מערכת הפעלה: Ubuntu 22.04 LTS
- מערכת build: Bazel גרסה 7.4.1
- ספריות רגילות: Libc++ ו-Libc++abi 16+
- דרישות ספציפיות לפלטפורמה:
- Android:
- Android SDK: Android API Level 34 (Android 14).
- Android NDK: תמיכה ברמת API 28 (Android 9 Pie).
- IoT: בקרוב.
- Windows: בקרוב.
אפשר להשתמש בהגדרה מהירה של המערכת באמצעות Docker כדי להגדיר תלות באופן אוטומטי.
פעולות נתמכות
LiteRT מוריד קבוצה רחבה של פעולות אל קצה העורף של מעבד טנסור Hexagon (HTP) של QNN. יש תמיכה גם ב-AOT וגם בהידור במכשיר. כאן אפשר לעיין ברשימת הפעולות הנתמכות.
מערכות SoC נתמכות
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- פלטפורמה לנייד Snapdragon 8 Elite (SM8750)
- פלטפורמה לנייד Snapdragon 8 Gen 3 (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
השלבים הבאים
- כדאי להתחיל עם המדריך המאוחד של NPU: האצת NPU באמצעות LiteRT
- פועלים לפי השלבים להמרת הקובץ ולפריסה, ובוחרים באפשרות Qualcomm במקומות הרלוונטיים.
- למודלים גדולים של שפה (LLM), אפשר לעיין במאמר הפעלת מודלים גדולים של שפה (LLM) ב-NPU באמצעות LiteRT-LM.