Gemma를 사용하는 Google Kubernetes Engine (GKE)

Google Kubernetes Engine (GKE)은 Google Cloud의 관리형 Kubernetes 서비스로, Google 인프라를 사용하여 컨테이너화된 애플리케이션을 대규모로 배포 및 운영하는 데 사용할 수 있습니다. GKE에서 Cloud 텐서 처리 장치(TPU) 및 그래픽 처리 장치 (GPU)를 사용하여 다음 LLM 제공 프레임워크를 사용하여 Gemma를 제공할 수 있습니다.

• vLLM과 함께 GKE에서 GPU를 사용하여 Gemma 제공
• TGI와 함께 GKE에서 GPU를 사용하여 Gemma 제공
• triton 및 TensorRT-LLM과 함께 GKE에서 GPU를 사용하여 Gemma 제공
• JetStream을 사용하여 GKE에서 TPU를 사용하여 Gemma 제공
• Saxml을 사용하여 GKE에서 TPU를 사용하여 Gemma 제공

GKE에서 Gemma를 제공하면 효율적인 확장성과 더 높은 가용성을 비롯한 관리형 Kubernetes의 모든 이점을 갖춘 강력한 프로덕션 지원 추론 제공 솔루션을 구현할 수 있습니다.

자세한 내용은 다음 페이지를 참고하세요.

• GKE 개요: Google Kubernetes Engine (GKE) 시작하기
• GKE의 AI/ML 조정: GKE로 최적화된 AI/ML 워크로드 실행