Esegui il deployment di Gemma con Google Cloud

La piattaforma Google Cloud offre molte opzioni per il deployment, la pubblicazione e l'ottimizzazione dei modelli aperti Gemma 4, tra cui:

Gemini Enterprise Agent Platform

Gemini Enterprise Agent Platform è una piattaforma Google Cloud per creare e scalare rapidamente progetti di machine learning. Gemma 4 è disponibile in Model Garden, una raccolta curata di modelli su Gemini Enterprise Agent Platform. Puoi testare e implementare i modelli direttamente dalla console.

Per saperne di più, consulta le seguenti pagine:

Cloud Run

Cloud Run è una piattaforma completamente gestita per eseguire codice o container sull'infrastruttura ad alta scalabilità di Google. Esegui il deployment di Gemma 4 su Cloud Run utilizzando le GPU per l'inferenza con scalabilità a zero e pagamento a consumo.

Per dimensioni della modalità più grandi, sfrutta le configurazioni avanzate con le GPU RTX 6000 Pro e lo streaming dei modelli.

Google Kubernetes Engine (GKE)

Google Kubernetes Engine (GKE) è un servizio Kubernetes gestito di Google Cloud. Esegui Gemma 4 su GKE per l'orchestrazione dei container di livello enterprise. Utilizza TPU e GPU per gestire modelli con throughput elevato e bassa latenza.

Agent Development Kit (ADK)

Crea e orchestra agenti AI con Gemma 4 e l'Agent Development Kit (ADK). Le solide funzionalità di ragionamento e chiamata di funzioni di Gemma 4 lo rendono ideale per i workflow agentici.

Cluster di addestramento di Gemini Enterprise Agent Platform

Ottimizza Gemma 4 utilizzando i cluster di addestramento di Gemini Enterprise Agent Platform. Training Clusters fornisce un'infrastruttura ottimizzata per l'addestramento e l'ottimizzazione su larga scala di modelli aperti.

vLLM con TPU

Eroga Gemma 4 su Google Cloud TPU per prestazioni di serving all'avanguardia.

MaxText

Gemma 4 è supportato in MaxText, un'implementazione LLM JAX ad alte prestazioni e di dimensioni arbitrarie per le TPU di Google Cloud.

Sovereign Cloud

Gemma 4 è disponibile sulle soluzioni Sovereign Cloud, che offrono maggiore controllo e conformità per i carichi di lavoro sensibili.