转换生成式 PyTorch 模型

AI Edge Torch Generative API 是一个针对移动设备进行了优化的库，用于将基于 Transformer 的 PyTorch 模型转换为 TF Lite 格式，使您可以使用 TF Lite 和 MediaPipe 转换大型语言模型 (LLM)，以在设备上生成图片和文本。AI Edge Torch Generative API 目前仅支持 CPU，并已计划支持 GPU 和 NPU。

移动应用开发者可以使用 Edge Generative API 将 PyTorch LLM 与 MediaPipe LLM Inference API 集成，以创建完全在设备端运行这些转换后的 PyTorch 模型的应用。

如需了解详情，请参阅 Generative Torch API 的 GitHub 代码库。