适用于 NPU 的 LiteRT 代理

Android 生态系统涵盖了各种各样的设备，这些设备配备了不同的神经处理单元 (NPU)。与 CPU 或 GPU 执行相比，利用这些专用 NPU 可以显著加快 LiteRT (TFLite) 模型推理速度并降低能耗，从而提升应用中的用户体验。

制造 NPU 的芯片供应商会提供 LiteRT 委托，以允许您的应用在每位用户的设备上使用其特定硬件。

Qualcomm® AI Engine Direct Delegate

借助 Qualcomm® AI Engine Direct Delegate，用户可以使用 AI Engine Direct 运行时运行 LiteRT 模型。该委托由 Qualcomm 的 Neural Network API 提供支持。

Qualcomm® AI Engine Direct Delegate 可在 Maven Central 上获取。如需了解详情，请参阅 Qualcomm 神经网络文档。

即将推出

我们期待在未来几个月内支持以下供应商的委托：

  • Google Pixel
  • Samsung System LSI
  • Intel

请随时关注最新动态，并获取有关使用这些委托来充分利用 LiteRT (TFLite) 模型中 NPU 强大功能的更多说明。