In diesem Dokument werden verschiedene Methoden und Tools für die Bereitstellung und Ausführung von Gemma-Modellen auf Mobilgeräten beschrieben, darunter die Verwendung der Google AI Edge Gallery App und der MediaPipe LLM Inference API.
Informationen zum Konvertieren eines feinabgestimmten Gemma-Modells in eine LiteRT-Version finden Sie im Konvertierungsleitfaden.
Google AI Edge-Galerie App
Wenn Sie die LLM Inference APIs in Aktion sehen und Ihr Task Bundle-Modell testen möchten, können Sie die Google AI Edge Gallery App verwenden. Diese App bietet eine Benutzeroberfläche für die Interaktion mit On-Device-LLMs, mit der Sie Folgendes tun können:
- Modelle importieren:Laden Sie Ihre benutzerdefinierten
.task-Modelle in die App. - Parameter konfigurieren:Passen Sie Einstellungen wie Temperatur und Top‑K an.
- Text generieren:Geben Sie Prompts ein und sehen Sie sich die Antworten des Modells an.
- Testleistung:Bewerten Sie die Geschwindigkeit und Genauigkeit des Modells.
Eine detaillierte Anleitung zur Verwendung der Google AI Edge Gallery App, einschließlich einer Anleitung zum Importieren eigener Modelle, finden Sie in der Dokumentation der App.
MediaPipe LLM
Sie können Gemma-Modelle auf Mobilgeräten mit der MediaPipe LLM Inference API ausführen. Die LLM Inference API fungiert als Wrapper für Large Language Models und ermöglicht es Ihnen, Gemma-Modelle auf dem Gerät für gängige Text-zu-Text-Generierungsaufgaben wie Informationsabruf, E-Mail-Entwurf und Dokumentzusammenfassung auszuführen.
Die LLM Inference API ist auf den folgenden mobilen Plattformen verfügbar:
Weitere Informationen finden Sie in der MediaPipe LLM Inference-Dokumentation.