Convertir des modèles PyTorch génératifs

L'API AI Edge Torch Generative est une bibliothèque permettant de convertir des modèles PyTorch basés sur des transformateurs au format LiteRT. Vous pouvez ainsi convertir de grands modèles de langage (LLM) pour la génération d'images et de texte sur l'appareil avec LiteRT-LM. L'API AI Edge Torch Generative est actuellement compatible avec les CPU et les GPU, et la compatibilité avec les NPU est prévue.

Les développeurs peuvent utiliser l'API Generative pour intégrer des LLM PyTorch à LiteRT-LM afin de créer des applications qui exécutent ces modèles PyTorch convertis entièrement sur l'appareil.

Pour en savoir plus, consultez le dépôt GitHub de l'API Generative Torch.