Le générateur AI Edge Torch API est une bibliothèque optimisée pour les mobiles qui permet de convertir des modèles PyTorch basés sur Transformer en le format LiteRT, qui vous permet de convertir les grands modèles de langage (LLM, Large Language Model) la génération d'images et de texte sur l'appareil avec LiteRT et MediaPipe. L'API générative d'AI Edge Torch ne fonctionne actuellement que sur le processeur, et prend en charge les GPU et les NPU de manière planifiée.
Les développeurs d'applications mobiles peuvent utiliser l'API Edge Generative pour intégrer les LLM PyTorch avec le module MediaPipe LLM Inference API pour créer des applications exécuter ces modèles PyTorch convertis entièrement sur l'appareil.
Pour en savoir plus, consultez la page consacrée à l'API Generative Torch. GitHub repo.