LiteRT, hem AOT hem de JIT için Compiled Model API aracılığıyla Qualcomm AI Engine Direct'i (QNN) destekler. Bu sayfada, daha önce eap/ altında bulunan tedarikçi kılavuzu birleştirilmiştir.
Geliştirme ortamını kurma
Qualcomm AI Engine Direct'in aşağıdaki geliştirme ortamı gereksinimleri vardır:
- İşletim Sistemi: Ubuntu 22.04 LTS
- Derleme Sistemi: Bazel 7.4.1 sürümü
- Standart kitaplıklar: Libc++ ve Libc++abi 16+
- Platforma Özgü Şartlar:
- Android:
- Android SDK: Android API düzeyi 34 (Android 14).
- Android NDK: API düzeyi 28 (Android 9 Pie) desteği.
- IoT: Çok yakında
- Windows: Çok yakında.
Bağımlılıkları otomatik olarak yapılandırmak için Docker ile hızlı sistem kurulumu'nu kullanabilirsiniz.
Desteklenen işlemler
LiteRT, çok çeşitli işlemleri QNN Hexagon Tensor Processor (HTP) arka ucuna indirger. Hem AOT hem de cihaz üzerinde derleme desteklenir. Desteklenen işlemler listesine bakın.
Desteklenen SoC'ler
- Snapdragon 8 Elite 5. Nesil Mobil Platform (SM8850)
- Snapdragon 8 Elite Mobil Platformu (SM8750)
- Snapdragon 8 Gen 3 Mobil Platformu (SM8650)
- Snapdragon 8 Gen 2 Mobil Platform (SM8550)
- Snapdragon 8+ Gen 1 Mobil Platform (SM8475)
- Snapdragon 8 Gen 1 Mobil Platform (SM8450)
Sonraki adımlar
- Birleştirilmiş NPU kılavuzuyla başlayın: LiteRT ile NPU hızlandırma
- Buradaki dönüşüm ve dağıtım adımlarını uygulayın ve uygun olduğunda Qualcomm'u seçin.
- LLM'ler için LiteRT-LM kullanarak NPU'da LLM'leri yürütme başlıklı makaleyi inceleyin.