NPU의 LiteRT 위임

Android 생태계는 다양한 신경 처리 장치 (NPU)가 있는 다양한 기기를 포함합니다. 이러한 특수 NPU를 활용하면 CPU 또는 GPU 실행에 비해 LiteRT (TFLite) 모델 추론을 크게 가속화하고 에너지 소비를 줄여 애플리케이션의 사용자 환경을 개선할 수 있습니다.

NPU를 제조하는 칩 공급업체는 앱이 각 사용자 기기에서 특정 하드웨어를 사용할 수 있도록 LiteRT 대리인을 제공합니다.

Qualcomm® AI Engine Direct Delegate

Qualcomm® AI Engine Direct Delegate를 사용하면 사용자가 AI Engine Direct 런타임을 사용하여 LiteRT 모델을 실행할 수 있습니다. 이 대리자는 Qualcomm의 Neural Networks API를 기반으로 합니다.

Qualcomm® AI Engine Direct Delegate는 Maven Central에서 사용할 수 있습니다. 자세한 내용은 Qualcomm 신경망 문서를 참고하세요.

출시 예정

앞으로 몇 개월 내에 다음 공급업체의 참석자를 지원할 예정입니다.

  • Google Pixel
  • MediaTek
  • Samsung System LSI

이러한 대리자를 사용하여 TFLite 모델에서 NPU의 성능을 활용하는 방법에 관한 업데이트와 추가 안내는 계속해서 확인하세요.