O Google Cloud Kubernetes Engine oferece uma ampla variedade de opções de implantação para executar modelos do Gemma com alto desempenho e baixa latência usando frameworks de desenvolvimento preferidos. Confira os seguintes guias de implantação do Hugging Face, vLLM, TensorRT-LLM em GPUs e execução de TPU com JetStream, além de guias de aplicativos e ajuste:
Implantar e disponibilizar
Disponibilizar o Gemma em GPUs com o vLLM: implante o Gemma com o vLLM para um gerenciamento conveniente do carregamento de modelos e alta capacidade de processamento.
Disponibilizar o Gemma em GPUs com o TensorRT-LLM: implante o Gemma com o NVIDIA TensorRT-LLM para maximizar a eficiência da operação do modelo.
Disponibilizar o Gemma em TPUs com o JetStream: implante o Gemma com o JetStream em processadores de TPU para alto desempenho e baixa latência.
Analisar dados
- Analisar dados no GKE usando o BigQuery, o Cloud Run e o Gemma: crie um pipeline de análise de dados com o BigQuery e o Gemma.
Ajustar detalhes
- Ajustar modelos abertos do Gemma usando várias GPUs: personalize o comportamento do Gemma com base no seu próprio conjunto de dados.