Das Android-Ökosystem umfasst eine Vielzahl von Geräten mit unterschiedlichen Neural Processing Units (NPUs). Durch die Nutzung dieser spezialisierten NPUs kann die Inferenz von LiteRT-Modellen (TFLite) im Vergleich zur CPU- oder GPU-Ausführung erheblich beschleunigt und der Energieverbrauch gesenkt werden. So wird die Nutzerfreundlichkeit Ihrer Anwendungen verbessert.
Chiphersteller, die NPUs herstellen, stellen LiteRT-Delegates zur Verfügung, damit Ihre App die spezifische Hardware auf dem Gerät jedes Nutzers verwenden kann.
Qualcomm® AI Engine Direct Delegate
Mit dem Qualcomm® AI Engine Direct Delegate können Nutzer LiteRT-Modelle mit der AI Engine Direct-Laufzeit ausführen. Der Delegate wird von der Neural Network API von Qualcomm unterstützt.
Der Qualcomm® AI Engine Direct Delegate ist auf Maven Central verfügbar. Weitere Informationen finden Sie in der Dokumentation zu Qualcomm Neural Network.
Demnächst
Wir freuen uns darauf, in den kommenden Monaten Delegierte der folgenden Anbieter zu unterstützen:
- Google Pixel
- Samsung System LSI
- Intel
Wir werden Sie über Updates und weitere Anleitungen zur Verwendung dieser Delegates informieren, damit Sie die Leistung von NPUs in Ihren LiteRT-Modellen (TFLite) nutzen können.