NPU の LiteRT デリゲート

Android エコシステムには、さまざまなニューラル プロセッシング ユニット（NPU）を搭載した幅広いデバイスが含まれています。これらの専用 NPU を活用すると、CPU や GPU の実行と比較して、LiteRT（TFLite）モデルの推論を大幅に高速化し、エネルギー消費量を削減できます。これにより、アプリケーションのユーザー エクスペリエンスが向上します。

NPU を製造するチップ ベンダーは、LiteRT デリゲートを提供して、アプリが各ユーザーのデバイスで特定のハードウェアを使用できるようにします。

Qualcomm® AI Engine Direct Delegate

Qualcomm® AI Engine Direct Delegate を使用すると、ユーザーは AI Engine Direct ランタイムを使用して LiteRT モデルを実行できます。デリゲートは、Qualcomm の Neural Network API によってサポートされています。

Qualcomm® AI Engine Direct Delegate は Maven Central で入手できます。詳細については、Qualcomm Neural Network のドキュメントをご覧ください。

近日提供予定

今後数か月以内に、次のベンダーの代理人をサポートする予定です。

  • Google Pixel
  • Samsung System LSI
  • Intel

これらのデリゲートを使用して LiteRT（TFLite）モデルで NPU の能力を活用する方法については、今後の更新情報と手順にご注目ください。