转换生成式 PyTorch 模型

AI Edge Torch Generative AI Studio API 是一个针对移动设备优化的库，用于将基于 Transformer 的 PyTorch 模型转换为 LiteRT 格式，让您可以将大型语言模型 (LLM) 转换为 使用 LiteRT 和 MediaPipe 生成设备端图片和文本。AI Edge Torch Generative API 目前仅支持 CPU，并计划支持 GPU 和 NPU。

移动应用开发者可以使用 Edge Generative API 集成 PyTorch LLM MediaPipe LLM 推断 API来创建应用 完全在设备端运行这些转换后的 PyTorch 模型。

如需了解更多信息，请参阅 Generative Torch API GitHub 代码库。