Vous pouvez exécuter des modèles Gemma entièrement sur l'appareil grâce à l'inférence LLM MediaPipe API. La L'API d'inférence LLM agit comme un wrapper pour les grands modèles de langage, ce qui vous permet d'exécuter Modèles Gemma sur l'appareil pour les tâches courantes de génération de texte en texte, comme la transmission d'informations la récupération, la rédaction d'e-mails et la synthèse de documents.
Essayer l'API d'inférence LLM avec MediaPipe Studio, application Web d'évaluation et de personnalisation des modèles sur les appareils.
L'API LLM Inference est disponible sur les plates-formes suivantes:
Pour en savoir plus, consultez le document MediaPipe LLM Inference documentation.