在行動裝置上部署 Gemma

本文將說明在行動裝置上部署及執行 Gemma 模型的各種方法和工具，包括使用 Google AI Edge Gallery 應用程式和 MediaPipe LLM 推論 API。

如要瞭解如何將微調的 Gemma 模型轉換為 LiteRT 版本，請參閱轉換指南。

如要查看 LLM 推論 API 的實際運作情形，並測試 Task Bundle 模型，可以使用 Google AI Edge Gallery 應用程式。這個應用程式提供使用者介面，可與裝置端 LLM 互動，讓您：

  • 匯入模型：將自訂 .task 模型載入應用程式。
  • 設定參數：調整溫度和 Top-K 等設定。
  • 生成文字：輸入提示並查看模型的回覆。
  • 測試成效：評估模型速度和準確率。

如需 Google AI Edge Gallery 應用程式的使用詳細指南，包括匯入自有模型的操作說明，請參閱應用程式的說明文件。

MediaPipe LLM

您可以使用 MediaPipe LLM 推論 API，在行動裝置上執行 Gemma 模型。LLM 推論 API 可做為大型語言模型的包裝函式，讓您在裝置上執行 Gemma 模型，完成常見的文字生成工作，例如資訊檢索、草擬電子郵件和文件摘要。

LLM Inference API 適用於下列行動平台：

詳情請參閱 MediaPipe LLM 推論說明文件。