Përdorimi i NPU-ve të Qualcomm për zhvillimin e AI-së celulare me LiteRT

Ndërsa modelet celulare të AI rriten, zhvilluesit e LiteRT duhet të maksimizojnë performancën. NPU-të janë gjithnjë e më të rëndësishme për AI në pajisje që ofrojnë vonesë më të ulët, xhiro më të lartë dhe konsum të reduktuar të energjisë në krahasim me CPU-të dhe GPU-të. Shfrytëzimi i NPU-ve Qualcomm® nëpërmjet Delegatit të drejtpërdrejtë të motorit të Qualcomm AI përmirëson ndjeshëm performancën e aplikacionit celular AI në pajisjet Snapdragon. Në bashkëpunim me Qualcomm, ekipi i Google AI Edge do të demonstrojë integrimin e këtij delegati në aplikacionet Android, duke theksuar përfitimet e performancës mbi procesorët tradicionalë dhe duke treguar se si të filloni.

Delegat i drejtpërdrejtë i Qualcomm AI Engine

Delegati i drejtpërdrejtë i Qualcomm AI Engine u mundëson përdoruesve të ekzekutojnë modelet LiteRT duke përdorur Qualcomm AI Stack. Përdorimi i Delegatit të drejtpërdrejtë të motorit AI Qualcomm është thelbësor për ekzekutimin e konkluzioneve në NPU për modelin tuaj LiteRT në pajisje. Pajisjet e mbështetura përfshijnë:

• Snapdragon 8 Gen 1 (SM8450)
• Snapdragon 8 Gen 2 (SM8550)
• Snapdragon 8 Gen 3 (SM8650)
• Snapdragon 8 Elite (SM8750)
• dhe më shumë

Aplikimet në këto pajisje do të përfitojnë nga Qualcomm AI Stack duke synuar NPU-në e cila ofron performancën më të mirë për modelet e AI.

Si të përdorni NPU-në duke përdorur Delegatin e drejtpërdrejtë të motorit AI Qualcomm

Së pari, shkarkoni Qualcomm AI Engine Direct Delegate i disponueshëm në Maven Central . Për të konfiguruar delegatin në një aplikacion Android Java, nevojiten varësitë e mëposhtme:

dependencies {
 implementation 'com.qualcomm.qti:qnn-runtime:2.34.0'
 implementation 'com.qualcomm.qti:qnn-litert-delegate:2.34.0' }

Për të përdorur delegatin:

try {
  // Created default Options
  QnnDelegate.Options options = new QnnDelegate.Options();
  // Set the backend and library path
  options.setBackendType(QnnDelegate.Options.BackendType.HTP_BACKEND);
  options.setSkelLibraryDir(activity.getApplicationInfo().nativeLibraryDir);
  // Create the Delegate instance.
  qnnDelegate = new QnnDelegate(options);
  tfliteOptions.addDelegate(qnnDelegate);
}
catch (UnsupportedOperationException e) {
  // Delegate creation failed
}
tfliteInterpreter = new Interpreter(tfliteModel, tfliteOptions);

Për të parë një shembull të një aplikacioni Android që përdor delegatin QNN për LiteRT, shihni aplikacionet e mostrës së Android Qualcomm AI Hub.

Përfitimet e Performancës

Në pajisjet me SOC Snapdragon me procesor Qualcomm® Hexagon Tensor, shumica e modeleve performojnë dukshëm më shpejt në krahasim me GPU dhe CPU. HTP është gjithashtu një procesor më efikas në fuqi për llogaritjen e rrjetit nervor. MobileNetv2, një model me burim të hapur, i para-optimizuar si pjesë e AI Hub Models u përdor si mostër për këtë analizë të performancës.

Produktet e markës Snapdragon dhe Qualcomm janë produkte të Qualcomm Technologies, Inc. dhe/ose filialeve të saj.

Çfarë është më pas

Qëndroni të akorduar për më shumë përditësime emocionuese për shfrytëzimin pa probleme të NPU-ve për zhvillimin e aplikacioneve të AI me LiteRT Next !