Mit der MediaPipe LLM Inference API können Sie Gemma-Modelle vollständig auf dem Gerät ausführen. Die LLCM Inference API fungiert als Wrapper für Large Language Models, sodass Sie Gemma-Modelle für gängige Aufgaben der Text-zu-Text-Generierung wie das Abrufen von Informationen, das Verfassen von E-Mails und die Zusammenfassung von Dokumenten auf dem Gerät ausführen können.
Testen Sie die LLM Inference API mit MediaPipe Studio, einer webbasierten Anwendung zur Bewertung und Anpassung von On-Device-Modellen.
Die LLM Inference API ist auf den folgenden Plattformen verfügbar:
Weitere Informationen finden Sie in der Dokumentation zu MediaPipe LLM-Inferenzen.