使用 Gemma 进行设备端生成

借助 MediaPipe LLM 推断，您可以在完全设备端运行 Gemma 模型 API。通过 LLM Inference API 可充当大型语言模型的封装容器， Gemma 基于设备构建模型，用于处理常见的文本到文本生成任务，例如 检索、电子邮件起草和文档汇总。

通过 MediaPipe 试用 LLM 推断 API Studio 基于网络的应用，用于评估和自定义设备上的模型。

LLM Inference API 可在以下平台上使用：

如需了解详情，请参阅 MediaPipe LLM 推断 文档。