Puoi eseguire i modelli Gemma completamente on-device con l'API MediaPipe LLM Inference. L'API LLM Inference funge da wrapper per i modelli linguistici di grandi dimensioni (LLM), permettendoti di eseguire i modelli Gemma sul dispositivo per attività comuni di generazione da testo a testo come il recupero di informazioni, la stesura di email e il riassunto dei documenti.
Prova l'API LLM Inference con MediaPipe Studio, un'applicazione basata sul web per la valutazione e la personalizzazione di modelli on-device.
L'API LLM Inference è disponibile sulle seguenti piattaforme:
Per ulteriori informazioni, consulta la documentazione relativa all'inferenza LLM di MediaPipe.