使用 LiteRT Next 实现 NPU 加速

LiteRT Next 提供了一个统一的接口来使用神经处理单元 (NPU)，而无需您单独浏览特定于供应商的编译器、运行时或库依赖项。使用 LiteRT Next 进行 NPU 加速可避免许多特定于供应商或特定于设备的复杂情况，提高实时推理和大型模型推理的性能，并通过零复制硬件缓冲区使用来最大限度地减少内存复制。

如果您已加入 LiteRT NPU 抢先体验计划，请登录授权账号以查看 NPU 文档。如果您尚未加入，请报名参加抢先体验计划：

报名！arrow_forward

开始使用

如需开始使用，请参阅 NPU 概览指南：

• 对于经典机器学习模型，请直接使用核心框架：
  • 使用 LiteRT Next 进行 NPU 加速
• 对于大语言模型 (LLM)，我们建议使用 LiteRT-LM 框架来处理 NPU 执行所需的端到端处理：
  • 利用 LiteRT-LM 实现 NPU 加速

如需查看支持 NPU 的 LiteRT Next 的示例实现，请参阅以下演示应用：

• 使用 Kotlin 进行图像分割
• 使用 C++ 进行异步分割

NPU 供应商

LiteRT Next 支持以下供应商的 NPU 加速：

• Qualcomm AI Engine Direct
• MediaTek NeuroPilot