Puoi eseguire modelli Gemma completamente on-device con l'inferenza LLM MediaPipe tramite Google Cloud. La L'API LLM Inference agisce da wrapper per i modelli linguistici di grandi dimensioni, consentendoti di eseguire Modelli Gemma on-device per le comuni attività di generazione da testo a testo, come le informazioni recupero, redazione di email e riassunto di documenti.
Prova l'API LLM Inference con MediaPipe Google Studio, una basata sul web per valutare e personalizzare i modelli on-device.
L'API LLM Inference è disponibile sulle seguenti piattaforme:
Per saperne di più, consulta Inference per LLM MediaPipe documentazione.