LiteRT תומך ב-Qualcomm AI Engine Direct (QNN) דרך CompiledModel API גם עבור AOT וגם עבור קומפילציה במכשיר.
הגדרת סביבת פיתוח
אלה הדרישות של סביבת הפיתוח של Qualcomm AI Engine Direct:
- מערכת הפעלה: Ubuntu 22.04 LTS
- מערכת build: Bazel גרסה 7.4.1
- ספריות רגילות: Libc++ ו-Libc++abi 16+
- דרישות ספציפיות לפלטפורמה:
- Android:
- Android SDK: Android API Level 34 (Android 14).
- Android NDK: תמיכה ברמת API 28 (Android 9 Pie).
- IoT: בקרוב.
- Windows: בקרוב.
אתם יכולים להשתמש בהגדרה מהירה של המערכת באמצעות Docker כדי להגדיר תלות באופן אוטומטי.
פעולות נתמכות
LiteRT מוריד קבוצה רחבה של פעולות אל קצה העורף של מעבד טנסור הקסגון (HTP) של QNN. יש תמיכה גם ב-AOT וגם בהידור במכשיר. כאן אפשר לעיין ברשימת הפעולות הנתמכות.
מערכות SoC נתמכות
- Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
- פלטפורמת Snapdragon 8 Elite לנייד (SM8750)
- פלטפורמה לנייד Snapdragon 8 Gen 3 (SM8650)
- Snapdragon 8 Gen 2 Mobile Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobile Platform (SM8475)
- Snapdragon 8 Gen 1 Mobile Platform (SM8450)
השלבים הבאים
- כדאי להתחיל עם המדריך המאוחד של NPU: האצת NPU באמצעות LiteRT
- פועלים לפי השלבים להמרת הקובץ ולפריסה שלו, ובוחרים באפשרות Qualcomm במקומות הרלוונטיים.
- למודלים של שפה גדולה (LLM), ראו הפעלת LLM ב-NPU באמצעות LiteRT-LM.