Google Kubernetes Engine (GKE) คือบริการ Kubernetes ที่มีการจัดการจาก Google Cloud ซึ่งคุณสามารถใช้เพื่อปรับใช้และดำเนินการกับแอปพลิเคชันที่มีคอนเทนเนอร์จำนวนมากโดยใช้โครงสร้างพื้นฐานของ Google คุณสามารถให้บริการ Gemma โดยใช้หน่วยประมวลผล Cloud Tensor หน่วยประมวลผล (TPU) และหน่วยประมวลผลกราฟิก (GPU) บน GKE ด้วยเฟรมเวิร์กการแสดงผล LLM ต่อไปนี้
- ให้บริการ Gemma โดยใช้ GPU บน GKE ด้วย vLLM
- ให้บริการ Gemma โดยใช้ GPU บน GKE ด้วย TGI
- ให้บริการ Gemma โดยใช้ GPU บน GKE ด้วย Triton และ TensorRT-LLM
- ให้บริการ Gemma โดยใช้ TPU บน GKE ด้วย JetStream
- ให้บริการ Gemma โดยใช้ TPU บน GKE ด้วย Saxml
การให้บริการ Gemma บน GKE ทำให้คุณใช้โซลูชันการอนุมานที่มีประสิทธิภาพและพร้อมสำหรับเวอร์ชันที่ใช้งานจริงพร้อมคุณประโยชน์ทั้งหมดของ Kubernetes ที่มีการจัดการ ซึ่งรวมถึงความสามารถในการปรับขนาดและความพร้อมใช้งานที่สูงขึ้น
ดูข้อมูลเพิ่มเติมได้ที่หน้าต่อไปนี้
- ภาพรวมของ GKE: เริ่มต้นใช้งาน Google Kubernetes Engine (GKE)
- การจัดการเป็นกลุ่ม AI/ML บน GKE: เรียกใช้ภาระงาน AI/ML ที่เพิ่มประสิทธิภาพด้วย GKE