LiteRT از Qualcomm AI Engine Direct (QNN) از طریق Compiled Model API برای AOT و JIT پشتیبانی می‌کند. این صفحه، راهنمای فروشنده که قبلاً در eap/ ارائه شده بود را ادغام می‌کند.
محیط توسعه را تنظیم کنید
Qualcomm AI Engine Direct الزامات محیط توسعه زیر را دارد:
- سیستم عامل : اوبونتو ۲۲.۰۴ LTS
- سیستم ساخت : نسخه Bazel 7.4.1
- کتابخانه‌های استاندارد : Libc++ و Libc++abi نسخه ۱۶+
- الزامات خاص پلتفرم:
- اندروید:
- کیت توسعه نرم‌افزار اندروید : رابط برنامه‌نویسی کاربردی اندروید سطح ۳۴ (اندروید ۱۴).
- اندروید NDK : پشتیبانی از API سطح ۲۸ (اندروید ۹ پای).
- اینترنت اشیا : به زودی.
- ویندوز : به زودی.
شما می‌توانید از راه‌اندازی سریع سیستم با داکر برای پیکربندی خودکار وابستگی‌ها استفاده کنید.
عملیات پشتیبانی شده
LiteRT مجموعه گسترده‌ای از عملیات را به پردازنده تنسور شش‌ضلعی QNN (HTP) کاهش می‌دهد. هم AOT و هم کامپایل روی دستگاه پشتیبانی می‌شوند. به لیست عملیات‌های پشتیبانی شده مراجعه کنید.
SoC های پشتیبانی شده
- پلتفرم موبایل اسنپدراگون ۸ الیت نسل ۵ (SM8850)
- پلتفرم موبایل اسنپدراگون ۸ الیت (SM8750)
- پلتفرم موبایل اسنپدراگون نسل سوم ۸ (SM8650)
- پلتفرم موبایل اسنپدراگون نسل دوم ۸ (SM8550)
- پلتفرم موبایل اسنپدراگون ۸+ نسل اول (SM8475)
- پلتفرم موبایل اسنپدراگون نسل هشتم (SM8450)
مراحل بعدی
- با راهنمای واحد پردازش عصبی یکپارچه شروع کنید: شتاب‌دهی NPU با LiteRT
- مراحل تبدیل و استقرار را در آنجا دنبال کنید و در صورت لزوم، کوالکام را انتخاب کنید.
- برای LLMها، به اجرای LLMها روی NPU با استفاده از LiteRT-LM مراجعه کنید.