LiteRT, hem AOT hem de cihaz üzerinde derleme için CompiledModel API'si aracılığıyla Qualcomm AI Engine Direct'i (QNN) destekler.
Geliştirme ortamını kurma
Qualcomm AI Engine Direct'in aşağıdaki geliştirme ortamı gereksinimleri vardır:
- İşletim Sistemi: Ubuntu 22.04 LTS
- Derleme Sistemi: Bazel 7.4.1 sürümü
- Standart kitaplıklar: Libc++ ve Libc++abi 16+
- Platforma Özgü Şartlar:
- Android:
- Android SDK'sı: Android API düzeyi 34 (Android 14).
- Android NDK: API düzeyi 28 (Android 9 Pie) desteği.
- IoT: Çok yakında
- Windows: Çok yakında.
Bağımlılıkları otomatik olarak yapılandırmak için Docker ile hızlı sistem kurulumu'nu kullanabilirsiniz.
Desteklenen işlemler
LiteRT, çok sayıda işlemi QNN Hexagon Tensor Processor (HTP) arka ucuna indirger. Hem AOT hem de cihaz üzerinde derleme desteklenir. Desteklenen işlemler listesine bakın.
Desteklenen SoC'ler
- Snapdragon 8 Elite 5. Nesil Mobil Platform (SM8850)
- Snapdragon 8 Elite Mobil Platformu (SM8750)
- Snapdragon 8 Gen 3 Mobil Platform (SM8650)
- Snapdragon 8 Gen 2 Mobil Platformu (SM8550)
- Snapdragon 8+ Gen 1 Mobil Platform (SM8475)
- Snapdragon 8 Gen 1 Mobil Platform (SM8450)
Sonraki adımlar
- Birleştirilmiş NPU kılavuzuyla başlayın: LiteRT ile NPU hızlandırma
- Buradaki dönüşüm ve dağıtım adımlarını uygulayın ve uygun olduğunda Qualcomm'u seçin.
- LLM'ler için LiteRT-LM kullanarak NPU'da LLM'leri yürütme başlıklı makaleyi inceleyin.