Google Kubernetes Engine (GKE) là dịch vụ Kubernetes được quản lý của Google Cloud mà bạn có thể dùng để triển khai và vận hành các ứng dụng trong vùng chứa trên quy mô lớn bằng cách sử dụng Cơ sở hạ tầng của Google. Bạn có thể phân phát Gemma bằng các đơn vị xử lý Cloud Tensor (TPU) và đơn vị xử lý đồ hoạ (GPU) trên GKE có thể phân phát các mô hình ngôn ngữ lớn (LLM) này khung:
- Phân phát Gemma bằng GPU trên GKE bằng vLLM
- Phân phát Gemma bằng GPU trên GKE bằng TGI
- Phân phát Gemma bằng GPU trên GKE bằng Triton và TensorRT-LLM
- Phân phát Gemma bằng TPU trên GKE bằng JetStream
- Phân phát Gemma bằng TPU trên GKE bằng Saxml
Bằng cách phân phát Gemma trên GKE, bạn có thể triển khai một hệ thống suy luận hiệu quả và sẵn sàng cho việc phát hành công khai giải pháp phân phối quảng cáo với tất cả lợi ích của giải pháp Kubernetes được quản lý, bao gồm khả năng mở rộng hiệu quả và khả năng đáp ứng cao hơn.
Để tìm hiểu thêm, hãy tham khảo các trang sau:
- GKE tổng quan: Làm quen với Google Kubernetes Engine (GKE)
- Tính năng điều phối công nghệ trí tuệ nhân tạo/học máy đang bật GKE: Chạy khối lượng công việc AI/ML được tối ưu hoá bằng GKE