NPU 的 LiteRT 委派

Android 生態系統包含多種裝置，其中包含各種神經處理單元 (NPU)。相較於 CPU 或 GPU 執行，運用這些專屬的 NPU 可大幅加快 LiteRT (TFLite) 模型推論，並減少耗電量，進而提升應用程式的使用者體驗。

製造 NPUs 的晶片供應商會提供 LiteRT 委派物件，讓應用程式在每位使用者的裝置上使用特定硬體。

Qualcomm® AI Engine Direct Delegate

Qualcomm® AI Engine Direct 委派作業可讓使用者使用 AI Engine Direct 執行階段執行 LiteRT 模型。委派作業由 Qualcomm 的神經網路 API 支援。

Qualcomm® AI Engine Direct Delegate 可在 Maven Central 取得。詳情請參閱 Qualcomm Neural Network 說明文件。

即將推出

我們期待在未來幾個月內，為下列廠商的代表提供支援：

  • Google Pixel
  • MediaTek
  • Samsung System LSI

請密切留意最新消息和進一步的操作說明，瞭解如何使用這些委派函來發揮 TFLite 模型中 NPU 的強大功能。