转换 PyTorch 生成式 AI 模型以进行设备端推理

LiteRT Torch Generative API 是一款高性能库，旨在创作基于 Transformer 的 PyTorch 模型并将其转换为 LiteRT/LiteRT-LM 格式。这使开发者能够轻松部署生成式 AI 模型（尤其是大语言模型 [LLM]），以便在设备上生成文本和图片。

Torch Generative API 支持模型转换，以便在 CPU 和 GPU 上执行，目前正在开发 NPU 支持。通过将 Torch Generative API 与 LiteRT-LM 配对，您可以构建响应迅速、注重隐私保护的应用，这些应用完全在设备端运行生成式模型。

如需了解详情，请参阅 Generative Torch API GitHub 代码库。