Google Kubernetes Engine (GKE) 与 Gemma

Google Kubernetes Engine (GKE) 是 Google Cloud 提供的一项代管式 Kubernetes 服务，可用于使用 Google 的基础架构大规模部署和运行容器化应用。您可以通过以下 LLM 服务框架在 GKE 上使用 Cloud Tensor 处理单元 (TPU) 和图形处理单元 (GPU) 为 Gemma 提供服务：

• 在具有 vLLM 的 GKE 上使用 GPU 为 Gemma 提供服务
• 将 GKE 上的 GPU 与 TGI 搭配使用
• 在 GKE 上使用 GPU 与 Triton 和 TensorRT-LLM 为 Gemma 提供服务
• 借助 JetStream 在 GKE 上使用 TPU 提供 Gemma 服务
• 通过 Saxml 在 GKE 上使用 TPU 提供 Gemma 服务

通过在 GKE 上为 Gemma 提供服务，您可以实现一个功能强大且可直接用于生产的推理服务解决方案，同时享受代管式 Kubernetes 的所有优势，包括高效的可伸缩性和更高的可用性。

如需了解详情，请参阅以下页面：

• GKE 概览：开始使用 Google Kubernetes Engine (GKE)
• GKE 上的 AI/机器学习编排：使用 GKE 运行经过优化的 AI/机器学习工作负载