使用 Gemma 进行设备端生成

您可以使用 MediaPipe LLM Inference API 完全在设备端运行 Gemma 模型。LLM Inference API 充当大型语言模型的封装容器，使您能够在设备上运行 Gemma 模型，以便执行常见的文本到文本生成任务，例如信息检索、电子邮件草稿和文档摘要。

将 LLM Inference API 与 MediaPipe Studio 结合使用，这是一款基于网络的应用，用于评估和自定义设备端模型。

LLM Inference API 可在以下平台上使用：

• 网站
• Android
• iOS

如需了解详情，请参阅 MediaPipe LLM 推断文档。