转换 PyTorch 生成式 AI 模型以进行设备端推理

AI Edge Torch Generative API 是一款高性能库，旨在将基于 Transformer 的 PyTorch 模型创作和转换为 LiteRT/LiteRT-LM 格式。这使开发者能够轻松地无缝部署生成式 AI 模型（尤其是大语言模型 [LLM]），以便在设备上生成文本和图片。

Torch Generative API 支持 CPU 和 GPU 执行的模型转换，目前正在开发 NPU 支持。通过将 Torch Generative API 与 LiteRT-LM 配对，您可以构建响应迅速且注重隐私保护的应用，这些应用完全在设备端运行生成式模型。