Google Kubernetes Engine (GKE) avec Gemma

Google Kubernetes Engine (GKE) un service Kubernetes géré de Google Cloud pour déployer et exploiter des applications conteneurisées à grande échelle l'infrastructure de Google. Vous pouvez inférer Gemma à l'aide d'unités de traitement Cloud Tensor (TPU) et processeurs graphiques (GPU) sur GKE, ces LLM servant frameworks:

En diffusant Gemma sur GKE, vous pouvez implémenter une inférence robuste et prête pour la production d'inférence avec tous les avantages du service Kubernetes géré, y compris une évolutivité efficace et une disponibilité accrue.

Pour en savoir plus, consultez les pages suivantes: