Qualcomm NPU (AI Engine Direct) with LiteRT

‫LiteRT תומך ב-Qualcomm AI Engine Direct ‏ (QNN) דרך CompiledModel API גם עבור AOT וגם עבור קומפילציה במכשיר.

הגדרת סביבת פיתוח

אלה הדרישות של סביבת הפיתוח של Qualcomm AI Engine Direct:

• מערכת הפעלה: Ubuntu 22.04 LTS
• מערכת build: Bazel גרסה 7.4.1
• ספריות רגילות: Libc++ ו-Libc++abi 16+
• דרישות ספציפיות לפלטפורמה:
  • ‫Android:
  • ‫Android SDK: רמת Android API‏ 34 (Android 14).
  • ‫Android NDK: תמיכה ברמת API‏ 28 (Android 9 Pie).
  • ‫IoT: בקרוב.
  • Windows: בקרוב.

אפשר להשתמש בהגדרה מהירה של המערכת באמצעות Docker כדי להגדיר תלות באופן אוטומטי.

פעולות נתמכות

‫LiteRT מוריד קבוצה רחבה של פעולות אל קצה העורף של מעבד טנסור Hexagon ‏ (HTP) של QNN. יש תמיכה גם ב-AOT וגם בהידור במכשיר. כאן אפשר לעיין ברשימת הפעולות הנתמכות.

מערכות SoC נתמכות

• Snapdragon 8 Elite Gen 5 Mobile Platform (SM8850)
• פלטפורמת Snapdragon 8 Elite לנייד (SM8750)
• פלטפורמה לנייד Snapdragon 8 Gen 3 (SM8650)
• פלטפורמה ניידת Snapdragon 8 Gen 2 (SM8550)
• Snapdragon 8+ Gen 1 Mobile Platform (SM8475)‎
• Snapdragon 8 Gen 1 Mobile Platform (SM8450)
• למידע על הגדרות מתקדמות של קצה העורפי HTP, אפשר לעיין בתיעוד בנושא קצה עורפי של Qualcomm QNN HTP

השלבים הבאים

1. כדאי להתחיל עם המדריך המאוחד של NPU: האצת NPU באמצעות LiteRT
2. פועלים לפי השלבים להמרת הקובץ ולפריסה, ובוחרים באפשרות Qualcomm במקומות הרלוונטיים.
3. למודלים של שפה גדולים (LLM), ראו הפעלת LLM ב-NPU באמצעות LiteRT-LM.