LiteRT ile Mobil Yapay Zeka Geliştirme İçin Qualcomm NPUs'u Kullanma

Mobil yapay zeka modelleri büyüdükçe LiteRT geliştiricilerinin performansı en üst düzeye çıkarması gerekir. NPU'lar, cihaz üzerinde yapay zeka için giderek daha önemli hale geliyor. NPU'lar, CPU'lara ve GPU'lara kıyasla daha düşük gecikme süresi, daha yüksek işleme hızı ve daha düşük güç tüketimi sunuyor. Qualcomm AI Engine Direct Delegate aracılığıyla Qualcomm® NPU'lardan yararlanmak, Snapdragon cihazlardaki mobil yapay zeka uygulaması performansını önemli ölçüde artırır. Google AI Edge ekibi, Qualcomm ile birlikte bu temsilcinin Android uygulamalarına entegrasyonunu gösterecek, geleneksel işlemcilere kıyasla elde edilen performans artışlarını vurgulayacak ve bu özelliği kullanmaya nasıl başlayacağınızı anlatacak.

Qualcomm AI Engine Doğrudan Temsilcisi

Qualcomm AI Engine Direct Delegate, kullanıcıların Qualcomm AI Stack'i kullanarak LiteRT modellerini çalıştırmasına olanak tanır. Cihaz üzerinde LiteRT modeliniz için NPU'da çıkarım çalıştırmak istiyorsanız Qualcomm AI Engine Direct Delegate'ı kullanmanız gerekir. Desteklenen cihazlar şunlardır:

• Snapdragon 8 Gen 1 (SM8450)
• Snapdragon 8 Gen 2 (SM8550)
• Snapdragon 8 Gen 3 (SM8650)
• Snapdragon 8 Elite (SM8750)
• ve daha fazlası

Bu cihazlardaki uygulamalar, yapay zeka modelleri için en iyi performansı sağlayan NPU'yu hedefleyerek Qualcomm AI Stack'ten yararlanır.

Qualcomm AI Engine Direct Delegate'ı kullanarak NPU'dan yararlanma

Öncelikle, Maven Central'da bulunan Qualcomm AI Engine Direct Delegate'ı indirin. Android Java uygulamasında temsilciyi ayarlamak için aşağıdaki bağımlılıklar gerekir:

dependencies {
 implementation 'com.qualcomm.qti:qnn-runtime:2.34.0'
 implementation 'com.qualcomm.qti:qnn-litert-delegate:2.34.0' }

Temsilciyi kullanmak için:

try {
  // Created default Options
  QnnDelegate.Options options = new QnnDelegate.Options();
  // Set the backend and library path
  options.setBackendType(QnnDelegate.Options.BackendType.HTP_BACKEND);
  options.setSkelLibraryDir(activity.getApplicationInfo().nativeLibraryDir);
  // Create the Delegate instance.
  qnnDelegate = new QnnDelegate(options);
  tfliteOptions.addDelegate(qnnDelegate);
}
catch (UnsupportedOperationException e) {
  // Delegate creation failed
}
tfliteInterpreter = new Interpreter(tfliteModel, tfliteOptions);

LiteRT için QNN Temsilcisi'ni kullanan bir Android uygulaması örneği görmek istiyorsanız Qualcomm AI Hub Android Örnek Uygulamaları'na bakın.

Performans Avantajları

Qualcomm® Hexagon Tensor İşlemci'ye sahip Snapdragon SOC'lere sahip cihazlarda çoğu model, GPU ve CPU'ya kıyasla önemli ölçüde daha hızlı performans gösterir. HTP, nöral ağ hesaplamaları için daha güç verimli bir işlemcidir. Bu performans analizi için örnek olarak, AI Hub Modelleri kapsamında önceden optimize edilmiş açık kaynak bir model olan MobileNetv2 kullanıldı.

Snapdragon ve Qualcomm markalı ürünler, Qualcomm Technologies, Inc. ve/veya yan kuruluşlarının ürünüdür.

Sonraki Adımlar

LiteRT Next ile yapay zeka uygulama geliştirme için NPU'lardan sorunsuz bir şekilde yararlanma hakkında daha heyecan verici güncellemeler için bizi takip etmeye devam edin.