LiteRT가 적용된 Qualcomm NPU (AI Engine Direct)

LiteRT는 AOT와 JIT 모두에 대해 컴파일된 모델 API를 통해 Qualcomm AI Engine Direct (QNN)를 지원합니다. 이 페이지에서는 이전에 eap/에 있던 공급업체 가이드를 통합합니다.

개발 환경 설정

Qualcomm AI Engine Direct에는 다음과 같은 개발 환경 요구사항이 있습니다.

• 운영체제: Ubuntu 22.04 LTS
• 빌드 시스템: Bazel 버전 7.4.1
• 표준 라이브러리: Libc++ 및 Libc++abi 16 이상
• 플랫폼별 요구사항:
  • Android:
  • Android SDK: Android API 수준 34 (Android 14).
  • Android NDK: API 수준 28 (Android 9 Pie) 지원
  • IoT: 출시 예정
  • Windows: 출시 예정

Docker를 사용한 빠른 시스템 설정을 사용하여 종속 항목을 자동으로 구성할 수 있습니다.

지원되는 작업

LiteRT는 광범위한 작업 집합을 QNN Hexagon 텐서 프로세서 (HTP) 백엔드로 낮춥니다. AOT와 기기 내 컴파일이 모두 지원됩니다. 지원되는 작업 목록을 참고하세요.

지원되는 SoC

• Snapdragon 8 Elite 5세대 모바일 플랫폼 (SM8850)
• Snapdragon 8 Elite 모바일 플랫폼 (SM8750)
• Snapdragon 8 Gen 3 모바일 플랫폼 (SM8650)
• Snapdragon 8 Gen 2 모바일 플랫폼 (SM8550)
• Snapdragon 8+ Gen 1 모바일 플랫폼 (SM8475)
• Snapdragon 8 Gen 1 모바일 플랫폼 (SM8450)

다음 단계

1. 통합 NPU 가이드인 LiteRT를 사용한 NPU 가속을 시작하세요.
2. 해당하는 경우 Qualcomm을 선택하여 전환 및 배포 단계를 따릅니다.
3. LLM의 경우 LiteRT-LM을 사용하여 NPU에서 LLM 실행을 참고하세요.