Google Cloud 平台提供多種選項,可部署、提供及微調 Gemma 4 開放模型,包括:
- Vertex AI Model Garden
- Cloud Run
- Google Kubernetes Engine (GKE)
- Agent Development Kit (ADK)
- Vertex AI 訓練叢集 (VTC)
- MaxText
- 使用 TPU 的 vLLM
- Sovereign Cloud
Vertex AI Model Garden
Vertex AI 是 Google Cloud 平台,可快速建構及擴展機器學習專案。Gemma 4 現已在 Model Garden 上架,這是 Vertex AI 上的精選模型集合。您可以直接從控制台測試及部署模型。
詳情請參閱下列頁面:
- Vertex AI 簡介: 開始使用 Vertex AI。
- 搭配 Vertex AI 使用 Gemma: 搭配 Vertex AI 使用 Gemma 開放式模型。
Cloud Run
Cloud Run 是全代管平台,可讓您在 Google 高擴充性的基礎架構上執行程式碼或容器。在 Cloud Run 上部署 Gemma 4,使用 GPU 執行推論,並支援將資源調度率降至零及依用量付費。
如要使用較大的模型,請運用 RTX 6000 Pro GPU 和模型串流功能進行進階設定。
Google Kubernetes Engine (GKE)
Google Kubernetes Engine (GKE) 是 Google Cloud 的 Kubernetes 代管服務。在 GKE 上執行 Gemma 4, 進行企業級容器自動化調度管理。 使用 TPU 和 GPU 提供模型服務,確保高處理量和低延遲。
Agent Development Kit (ADK)
使用 Gemma 4 和 Agent Development Kit (ADK) 建構及協調 AI 代理。 Gemma 4 具備強大的推論和函式呼叫功能,非常適合用於代理工作流程。
Vertex AI Training Clusters (VTC)
使用 Vertex AI 訓練叢集 (VTC) 微調 Gemma 4。 VTC 提供最佳化基礎架構,可大規模訓練及微調開放模型。
使用 TPU 建構 vLLM
在 Google Cloud TPU 上提供 Gemma 4 服務,享有頂尖的服務效能。
MaxText
MaxText 支援 Gemma 4, 這是適用於 Google Cloud TPU 的高效能任意大小 JAX LLM 實作項目。
Sovereign Cloud
Gemma 4 可在 Sovereign Cloud 解決方案中使用,為機密工作負載提供更完善的控管和法規遵循功能。