Das Android-Ökosystem umfasst eine breite Palette von Geräten mit unterschiedlichen neuronalen Verarbeitungseinheiten (NPUs). Mit diesen speziellen NPUs können Sie die LiteRT-Modellinferenz (TFLite) erheblich beschleunigen und den Energieverbrauch im Vergleich zur CPU- oder GPU-Ausführung senken. So wird die Nutzerfreundlichkeit Ihrer Anwendungen verbessert.
Chipanbieter, die NPUs herstellen, stellen LiteRT-Delegierte bereit, damit Ihre App die spezifische Hardware auf dem Gerät jedes Nutzers nutzen kann.
Qualcomm® AI Engine Direct Delegate
Mit dem Qualcomm® AI Engine Direct Delegate können Nutzer LiteRT-Modelle mit der AI Engine Direct-Laufzeit ausführen. Der Delegate wird von der Neural Network API von Qualcomm unterstützt.
Der Qualcomm® AI Engine Direct Delegate ist auf Maven Central verfügbar. Weitere Informationen finden Sie in der Qualcomm Neural Network-Dokumentation.
Demnächst
In den kommenden Monaten unterstützen wir Teilnehmer der folgenden Anbieter:
- Google Pixel
- MediaTek
- Samsung System LSI
Wir halten Sie über Neuigkeiten und weitere Anleitungen zur Verwendung dieser Delegaten auf dem Laufenden, damit Sie die Leistung von NPUs in Ihren TFLite-Modellen optimal nutzen können.