使用 Google Cloud 部署 Gemma

Google Cloud 平台提供多種選項,可部署、提供及微調 Gemma 4 開放模型,包括:

Vertex AI Model Garden

Vertex AI 是 Google Cloud 平台,可快速建構及擴展機器學習專案。Gemma 4 現已在 Model Garden 上架,這是 Vertex AI 上的精選模型集合。您可以直接從控制台測試及部署模型。

詳情請參閱下列頁面:

Cloud Run

Cloud Run 是全代管平台,可讓您在 Google 高擴充性的基礎架構上執行程式碼或容器。在 Cloud Run 上部署 Gemma 4,使用 GPU 執行推論,並支援將資源調度率降至零及依用量付費。

如要使用較大的模型,請運用 RTX 6000 Pro GPU 和模型串流功能進行進階設定

Google Kubernetes Engine (GKE)

Google Kubernetes Engine (GKE) 是 Google Cloud 的 Kubernetes 代管服務。在 GKE 上執行 Gemma 4, 進行企業級容器自動化調度管理。 使用 TPU 和 GPU 提供模型服務,確保高處理量和低延遲。

Agent Development Kit (ADK)

使用 Gemma 4 和 Agent Development Kit (ADK) 建構及協調 AI 代理。 Gemma 4 具備強大的推論和函式呼叫功能,非常適合用於代理工作流程。

Vertex AI Training Clusters (VTC)

使用 Vertex AI 訓練叢集 (VTC) 微調 Gemma 4。 VTC 提供最佳化基礎架構,可大規模訓練及微調開放模型。

使用 TPU 建構 vLLM

在 Google Cloud TPU 上提供 Gemma 4 服務,享有頂尖的服務效能。

MaxText

MaxText 支援 Gemma 4, 這是適用於 Google Cloud TPU 的高效能任意大小 JAX LLM 實作項目。

Sovereign Cloud

Gemma 4 可在 Sovereign Cloud 解決方案中使用,為機密工作負載提供更完善的控管和法規遵循功能。