使用 LiteRT Next 進行 NPU 加速

LiteRT Next 提供統一介面，可使用神經處理單元 (NPU)，不必個別瀏覽廠商專屬的編譯器、執行階段或程式庫依附元件。使用 LiteRT Next 進行 NPU 加速，可避免許多廠商或裝置專屬的複雜情況，提升即時和大型模型推論的效能，並透過零複製硬體緩衝區使用量，盡量減少記憶體副本。

如果您已加入 LiteRT NPU 搶先體驗計畫，請登入授權帳戶，查看 NPU 說明文件。如果尚未註冊，請申請加入搶先體驗計畫：

立即報名！arrow_forward

開始使用

如要開始使用，請參閱 NPU 總覽指南：

• 如果是傳統機器學習模型，請直接使用核心架構：
  • 使用 LiteRT Next 進行 NPU 加速
• 對於大型語言模型 (LLM)，我們建議使用 LiteRT-LM 架構，處理 NPU 執行作業所需的端對端處理程序：
  • 透過 LiteRT-LM 進行 NPU 加速

如需支援 NPU 的 LiteRT Next 實作範例，請參閱下列試用版應用程式：

• 使用 Kotlin 進行圖像分割
• 使用 C++ 進行非同步區隔

NPU 供應商

LiteRT Next 支援下列供應商的 NPU 加速功能：

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot