Converter modelos de IA generativa do PyTorch para inferência no dispositivo
A API AI Edge Torch Generative é uma biblioteca de alto desempenho projetada para criar e converter modelos do PyTorch baseados em transformadores no formato LiteRT/LiteRT-LM. Isso permite que os desenvolvedores implantem modelos de IA generativa, especificamente modelos de linguagem grandes (LLMs), para geração de texto e imagem no dispositivo com facilidade.
A API Torch Generative é compatível com a conversão de modelos para execução em CPU e GPU, com suporte a NPU em desenvolvimento. Ao combinar a API Torch Generative com o
LiteRT-LM, é possível criar aplicativos responsivos e focados na privacidade
que executam modelos generativos totalmente no dispositivo.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Não contém as informações de que eu preciso","missingTheInformationINeed","thumb-down"],["Muito complicado / etapas demais","tooComplicatedTooManySteps","thumb-down"],["Desatualizado","outOfDate","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Problema com as amostras / o código","samplesCodeIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-12-22 UTC."],[],[]]
