Platforma Google Cloud ofron shumë shërbime për vendosjen dhe shërbimin e modeleve të hapura Gemma, duke përfshirë sa vijon:
Vertex AI
Vertex AI është një platformë Google Cloud për ndërtimin dhe shkallëzimin e shpejtë të projekteve të mësimit të makinerive pa kërkuar ekspertizë të brendshme MLOps. Vertex AI ofron një tastierë ku mund të punoni me një përzgjedhje të madhe modelesh dhe ofron aftësi MLOps nga skaji në fund dhe një përvojë pa server për zhvillim të thjeshtë.
Ju mund të përdorni Vertex AI si aplikacionin e poshtëm që shërben Gemma, i cili është i disponueshëm në Model Garden , një koleksion i kuruar modelesh. Për shembull, mund të portosh peshat nga një implementim Gemma dhe të përdorësh Vertex AI për të shërbyer atë version të Gemma për të marrë parashikime.
Për të mësuar më shumë, referojuni faqeve të mëposhtme:
- Hyrje në Vertex AI : Filloni me Vertex AI.
- Gemma me Vertex AI : Përdorni modele të hapura Gemma me Vertex AI.
- Rregulloni mirë Gemma duke përdorur KerasNLP dhe vendoseni në Vertex AI : Notebook nga fundi në fund për të rregulluar Gemma duke përdorur Keras.
Cloud Run
Cloud Run është një platformë plotësisht e menaxhuar për të ekzekutuar kodin, funksionin ose kontejnerin tuaj në krye të infrastrukturës shumë të shkallëzueshme të Google.
Cloud Run ofron GPU sipas kërkesës, nisje të shpejtë, shkallë deri në zero, me pagesë për përdorim, duke ju lejuar të shërbeni modele të hapura si Gemma.
Për të mësuar më shumë rreth ekzekutimit të Gemma në Cloud Run, referojuni faqeve të mëposhtme:
- Praktikat më të mira për përdorimin e GPU-ve në Cloud Run
- Ekzekutoni konkluzionet Gemma në GPU-të e ekzekutimit në renë kompjuterike me Ollama
- Ekzekutoni konkluzionet Gemma në GPU-të e ekzekutimit në renë kompjuterike me vLLM
- Ekzekutoni konkluzionet Gemma në GPU-të e ekzekutimit në renë kompjuterike me Transformers.js
Motori Google Kubernetes (GKE)
Google Kubernetes Engine (GKE) është një shërbim i menaxhuar Kubernetes nga Google Cloud që mund ta përdorni për të vendosur dhe përdorur aplikacione të kontejnerizuara në shkallë duke përdorur infrastrukturën e Google. Ju mund t'i shërbeni Gemma-s duke përdorur njësitë e përpunimit të "Cloud Tensor" (TPU) dhe njësitë e përpunimit grafik (GPU) në GKE me këto korniza të shërbimit LLM:
- Shërbejeni Gemma duke përdorur GPU në GKE me vLLM
- Shërbejeni Gemma duke përdorur GPU në GKE me TGI
- Shërbejeni Gemma duke përdorur GPU në GKE me Triton dhe TensorRT-LLM
- Shërbejeni Gemma duke përdorur TPU në GKE me JetStream
- Shërbejeni Gemma duke përdorur TPU në GKE me Saxml
Duke shërbyer Gemma në GKE, ju mund të zbatoni një zgjidhje të fuqishme, të gatshme për shërbimin e konkluzioneve, me të gjitha përfitimet e Kubernetes të menaxhuara, duke përfshirë shkallëzueshmërinë efikase dhe disponueshmërinë më të lartë.
Për të mësuar më shumë, referojuni faqeve të mëposhtme:
- Përmbledhje e GKE : Filloni me Google Kubernetes Engine (GKE)
- Orkestrimi i AI/ML në GKE : Ekzekutoni ngarkesa të optimizuara të punës AI/ML me GKE
Rrjedha e të dhënave ML
Dataflow ML është një platformë Google Cloud për vendosjen dhe menaxhimin e flukseve të punës të mësimit të makinerive të plota. Me Dataflow ML, ju mund t'i përgatisni të dhënat tuaja për trajnimin e modeleve me mjetet e përpunimit të të dhënave, më pas përdorni modele si Gemma për të kryer konkluzionet lokale dhe të largëta me tubacionet e grumbullimit dhe transmetimit.
Ju mund të përdorni Dataflow ML për të integruar pa probleme Gemma në tubacionet tuaja të konkluzionit Apache Beam me disa rreshta kodi, duke ju mundësuar të merrni të dhëna, të verifikoni dhe transformoni të dhënat, të ushqeni hyrjet e tekstit në Gemma dhe të gjeneroni dalje teksti.
Për të mësuar më shumë, referojuni faqeve të mëposhtme:
- Përdorni modele të hapura Gemma me Dataflow : Filloni me Gemma në Dataflow.
- Ekzekutoni konkluzionet me një model të hapur Gemma : Tutorial që përdor Gemma në një tubacion konkluzionesh Apache Beam.