LiteRT를 사용한 모바일 AI 개발을 위한 Qualcomm NPU 활용

모바일 AI 모델이 커짐에 따라 LiteRT 개발자는 성능을 극대화해야 합니다. NPU는 CPU 및 GPU에 비해 지연 시간이 짧고 처리량이 높으며 전력 소비가 적은 온디바이스 AI에 점점 더 중요해지고 있습니다. Qualcomm AI 엔진 직접 대리인을 통해 Qualcomm® NPU를 활용하면 Snapdragon 기기에서 모바일 AI 앱 성능이 크게 개선됩니다. Google AI Edge팀은 Qualcomm과 협력하여 이 대리자를 Android 앱에 통합하는 방법을 시연하고 기존 프로세서 대비 성능 향상을 강조하며 시작 방법을 보여줍니다.

Qualcomm AI Engine Direct Delegate

Qualcomm AI 엔진 직접 대리인을 사용하면 사용자가 Qualcomm AI 스택을 사용하여 LiteRT 모델을 실행할 수 있습니다. 기기 내 LiteRT 모델의 NPU에서 추론을 실행하려면 Qualcomm AI Engine Direct Delegate를 사용해야 합니다. 지원되는 기기는 다음과 같습니다.

• Snapdragon 8 Gen 1 (SM8450)
• Snapdragon 8 Gen 2 (SM8550)
• Snapdragon 8 Gen 3 (SM8650)
• Snapdragon 8 Elite (SM8750)
• 기타

이러한 기기의 애플리케이션은 AI 모델에 최적의 성능을 제공하는 NPU를 타겟팅하여 Qualcomm AI 스택의 이점을 누릴 수 있습니다.

Qualcomm AI Engine Direct Delegate를 사용하여 NPU를 활용하는 방법

먼저 Maven Central에서 Qualcomm AI Engine Direct Delegate를 다운로드합니다. Android Java 애플리케이션에서 대리자를 설정하려면 다음 종속 항목이 필요합니다.

dependencies {
 implementation 'com.qualcomm.qti:qnn-runtime:2.34.0'
 implementation 'com.qualcomm.qti:qnn-litert-delegate:2.34.0' }

대리자를 사용하려면 다음 단계를 따르세요.

try {
  // Created default Options
  QnnDelegate.Options options = new QnnDelegate.Options();
  // Set the backend and library path
  options.setBackendType(QnnDelegate.Options.BackendType.HTP_BACKEND);
  options.setSkelLibraryDir(activity.getApplicationInfo().nativeLibraryDir);
  // Create the Delegate instance.
  qnnDelegate = new QnnDelegate(options);
  tfliteOptions.addDelegate(qnnDelegate);
}
catch (UnsupportedOperationException e) {
  // Delegate creation failed
}
tfliteInterpreter = new Interpreter(tfliteModel, tfliteOptions);

LiteRT용 QNN 대리인을 사용하는 Android 앱의 예를 보려면 Qualcomm AI Hub Android 샘플 앱을 참고하세요.

실적 이점

Qualcomm® Hexagon Tensor 프로세서가 탑재된 Snapdragon SOC가 있는 기기에서는 대부분의 모델이 GPU 및 CPU에 비해 훨씬 더 빠르게 실행됩니다. HTP는 신경망 계산을 위한 전력 효율이 더 높은 프로세서이기도 합니다. AI Hub 모델의 일부로 사전 최적화된 오픈소스 모델인 MobileNetv2가 이 성능 분석의 샘플로 사용되었습니다.

Snapdragon 및 Qualcomm 브랜드 제품은 Qualcomm Technologies, Inc. 및 자회사의 제품입니다.

다음 단계

LiteRT Next를 사용하여 AI 애플리케이션 개발에 NPU를 원활하게 활용하는 방법에 관한 더 많은 흥미로운 업데이트를 기대해 주세요.