搭配使用 Google Kubernetes Engine (GKE) 與 Gemma

Google Kubernetes Engine (GKE) 是 Google Cloud 的代管 Kubernetes 服務，可讓您使用 Google 的基礎架構大規模部署及執行容器化應用程式。您可以使用下列 LLM 服務架構，在 GKE 中使用 Cloud Tensor 處理器 (TPU) 和圖形處理器 (GPU) 提供 Gemma：

• 透過 vLLM 在 GKE 中使用 GPU 提供 Gemma
• 透過 TGI 在 GKE 中使用 GPU 提供 Gemma
• 搭配 Triton 和 TensorRT-LLM，在 GKE 中使用 GPU 提供 Gemma
• 透過 JetStream 在 GKE 中使用 TPU 提供 Gemma
• 透過 Saxml 在 GKE 中使用 TPU 提供 Gemma

在 GKE 上提供 Gemma 後，您可以實作一個可用於實際工作環境的強大推論提供解決方案，並享有代管 Kubernetes 的所有優勢，包括高效的擴充性和更高的可用性。

詳情請參閱以下頁面：

• GKE 總覽：開始使用 Google Kubernetes Engine (GKE)
• GKE 的 AI/機器學習自動化調度管理：透過 GKE 執行最佳化 AI/機器學習工作負載