Vous pouvez exécuter les modèles Gemma entièrement sur l'appareil avec l'API MediaPipe LLM Inference. L'API LLM Inference agit comme un wrapper pour les grands modèles de langage, ce qui vous permet d'exécuter des modèles Gemma sur l'appareil pour les tâches courantes de génération de texte en texte telles que la récupération d'informations, la rédaction d'e-mails et la synthèse de documents.
Essayez l'API LLM Inference avec MediaPipe Studio, une application Web permettant d'évaluer et de personnaliser des modèles sur l'appareil.
L'API LLM Inference est disponible sur les plates-formes suivantes:
Pour en savoir plus, consultez la documentation sur l'inférence LLM de MediaPipe.