استفاده از NPU های کوالکام برای توسعه هوش مصنوعی موبایل با LiteRT

با رشد مدل‌های هوش مصنوعی موبایل، توسعه‌دهندگان LiteRT باید عملکرد را به حداکثر برسانند. NPU ها به طور فزاینده ای برای هوش مصنوعی روی دستگاه بسیار مهم هستند که تاخیر کمتر، توان عملیاتی بالاتر و مصرف انرژی کمتری را در مقایسه با CPU و GPU ارائه می دهند. استفاده از NPU های Qualcomm® از طریق نمایندگی مستقیم موتور هوش مصنوعی Qualcomm به طور قابل توجهی عملکرد برنامه هوش مصنوعی موبایل را در دستگاه های اسنپدراگون بهبود می بخشد. با همکاری Qualcomm، تیم Google AI Edge ادغام این نماینده را در برنامه‌های Android نشان می‌دهد، دستاوردهای عملکرد را نسبت به پردازنده‌های سنتی برجسته می‌کند و نحوه شروع کار را نشان می‌دهد.

نماینده مستقیم موتور هوش مصنوعی کوالکام

نمایندگی مستقیم موتور هوش مصنوعی Qualcomm به کاربران امکان می دهد مدل های LiteRT را با استفاده از Qualcomm AI Stack اجرا کنند. استفاده از Qualcomm AI Engine Direct Delegate برای اجرای استنتاج بر روی NPU برای مدل LiteRT روی دستگاه شما ضروری است. دستگاه های پشتیبانی شده عبارتند از:

• اسنپدراگون 8 نسل 1 (SM8450)
• اسنپدراگون 8 نسل 2 (SM8550)
• اسنپدراگون 8 نسل 3 (SM8650)
• اسنپدراگون 8 الیت (SM8750)
• و بیشتر

برنامه های کاربردی در این دستگاه ها با هدف قرار دادن NPU که بهترین عملکرد را برای مدل های هوش مصنوعی ارائه می دهد، از پشته هوش مصنوعی Qualcomm بهره مند می شوند.

نحوه استفاده از NPU با استفاده از Delegate مستقیم موتور هوش مصنوعی Qualcomm

ابتدا، Qualcomm AI Engine Direct Delegate موجود در Maven Central را دانلود کنید. برای تنظیم نماینده در یک برنامه جاوا اندروید، وابستگی های زیر مورد نیاز است:

dependencies {
 implementation 'com.qualcomm.qti:qnn-runtime:2.34.0'
 implementation 'com.qualcomm.qti:qnn-litert-delegate:2.34.0' }

برای استفاده از نماینده:

try {
  // Created default Options
  QnnDelegate.Options options = new QnnDelegate.Options();
  // Set the backend and library path
  options.setBackendType(QnnDelegate.Options.BackendType.HTP_BACKEND);
  options.setSkelLibraryDir(activity.getApplicationInfo().nativeLibraryDir);
  // Create the Delegate instance.
  qnnDelegate = new QnnDelegate(options);
  tfliteOptions.addDelegate(qnnDelegate);
}
catch (UnsupportedOperationException e) {
  // Delegate creation failed
}
tfliteInterpreter = new Interpreter(tfliteModel, tfliteOptions);

برای دیدن نمونه‌ای از یک برنامه Android که از QNN Delegate برای LiteRT استفاده می‌کند، به برنامه‌های نمونه اندروید Qualcomm AI Hub مراجعه کنید.

مزایای عملکرد

در دستگاه‌های دارای SOC Snapdragon با پردازنده Qualcomm® Hexagon Tensor، بیشتر مدل‌ها در مقایسه با GPU و CPU سریع‌تر عمل می‌کنند. HTP همچنین یک پردازنده کم مصرف برای محاسبات شبکه عصبی است. MobileNetv2، یک مدل منبع باز، از پیش بهینه سازی شده به عنوان بخشی از AI Hub Models به عنوان نمونه برای این تحلیل عملکرد استفاده شد.

محصولات با برند اسنپدراگون و کوالکام محصولات شرکت فناوری‌های کوالکام و/یا شرکت‌های تابعه آن هستند.

چه خبر بعدی

منتظر به‌روزرسانی‌های هیجان‌انگیزتر در مورد استفاده یکپارچه از NPU برای توسعه برنامه‌های هوش مصنوعی با LiteRT Next باشید!