Convertir des modèles d'IA générative PyTorch pour l'inférence sur l'appareil
L'API AI Edge Torch Generative est une bibliothèque hautes performances conçue pour créer et convertir des modèles PyTorch basés sur des transformateurs au format LiteRT/LiteRT-LM. Les développeurs peuvent ainsi déployer facilement des modèles d'IA générative, en particulier des grands modèles de langage (LLM), pour la génération de texte et d'images sur l'appareil.
L'API Torch Generative est compatible avec la conversion de modèles pour l'exécution sur CPU et GPU. La compatibilité avec les NPU est en cours de développement. En associant l'API Torch Generative à LiteRT-LM, vous pouvez créer des applications réactives et respectueuses de la confidentialité qui exécutent des modèles génératifs entièrement sur l'appareil.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/12/22 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Il n'y a pas l'information dont j'ai besoin","missingTheInformationINeed","thumb-down"],["Trop compliqué/Trop d'étapes","tooComplicatedTooManySteps","thumb-down"],["Obsolète","outOfDate","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Mauvais exemple/Erreur de code","samplesCodeIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/12/22 (UTC)."],[],[]]
