Android エコシステムには、さまざまなニューラル プロセッシング ユニット（NPU）を搭載した幅広いデバイスが含まれています。これらの専用 NPU を活用すると、CPU や GPU の実行と比較して、LiteRT（TFLite）モデルの推論を大幅に高速化し、エネルギー消費量を削減できます。これにより、アプリケーションのユーザー エクスペリエンスが向上します。
NPU を製造するチップ ベンダーは、LiteRT デリゲートを提供して、アプリが各ユーザーのデバイスで特定のハードウェアを使用できるようにします。
Qualcomm® AI Engine Direct Delegate
Qualcomm® AI Engine Direct Delegate を使用すると、ユーザーは AI Engine Direct ランタイムを使用して LiteRT モデルを実行できます。デリゲートは、Qualcomm の Neural Network API によってサポートされています。
Qualcomm® AI Engine Direct Delegate は Maven Central で入手できます。詳細については、Qualcomm Neural Network のドキュメントをご覧ください。
近日提供予定
今後数か月以内に、次のベンダーの代理人をサポートする予定です。
- Google Pixel
- Samsung System LSI
- Intel
これらのデリゲートを使用して LiteRT（TFLite）モデルで NPU の能力を活用する方法については、今後の更新情報と手順にご注目ください。