La piattaforma Google Cloud offre molte opzioni per il deployment, la pubblicazione e il perfezionamento dei modelli aperti Gemma 4, tra cui:
- Model Garden di Vertex AI
- Cloud Run
- Google Kubernetes Engine (GKE)
- Agent Development Kit (ADK)
- Cluster Vertex AI Training (VTC)
- MaxText
- vLLM con TPU
- Sovereign Cloud
Model Garden di Vertex AI
Vertex AI è una piattaforma Google Cloud per creare e scalare rapidamente progetti di machine learning. Gemma 4 è disponibile in Model Garden, una raccolta curata di modelli su Vertex AI. Puoi testare e implementare i modelli direttamente dalla console.
Per saperne di più, consulta le seguenti pagine:
- Introduzione a Vertex AI: Inizia a utilizzare Vertex AI.
- Gemma con Vertex AI: Utilizza i modelli open source Gemma con Vertex AI.
Cloud Run
Cloud Run è una piattaforma completamente gestita per eseguire codice o container sull'infrastruttura ad alta scalabilità di Google. Esegui il deployment di Gemma 4 su Cloud Run utilizzando le GPU per l'inferenza con scalabilità fino a zero e pagamento a consumo.
Per dimensioni del modello più grandi, sfrutta le configurazioni avanzate con le GPU RTX 6000 Pro e lo streaming dei modelli.
Google Kubernetes Engine (GKE)
Google Kubernetes Engine (GKE) è un servizio Kubernetes gestito di Google Cloud. Esegui Gemma 4 su GKE per l'orchestrazione dei container di livello enterprise. Utilizza TPU e GPU per gestire modelli con throughput elevato e bassa latenza.
Agent Development Kit (ADK)
Crea e orchestra agenti AI con Gemma 4 e l'Agent Development Kit (ADK). Le solide funzionalità di ragionamento e chiamata di funzioni di Gemma 4 lo rendono ideale per flussi di lavoro basati su agenti.
Vertex AI Training Clusters (VTC)
Esegui il fine tuning di Gemma 4 utilizzando i cluster di addestramento Vertex AI (VTC). VTC fornisce un'infrastruttura ottimizzata per l'addestramento su larga scala e l'ottimizzazione dei modelli aperti.
vLLM con TPU
Eroga Gemma 4 sulle TPU Google Cloud per prestazioni di erogazione all'avanguardia.
MaxText
Gemma 4 è supportato in MaxText, un'implementazione JAX LLM ad alte prestazioni e di dimensioni arbitrarie per le TPU di Google Cloud.
Sovereign Cloud
Gemma 4 è disponibile sulle soluzioni Sovereign Cloud, che offrono maggiore controllo e conformità per i carichi di lavoro sensibili.