Converter modelos PyTorch generativos

A API AI Edge Torch Generative é uma biblioteca para converter modelos do PyTorch baseados em transformadores para o formato LiteRT. Assim, é possível converter modelos de linguagem grande (LLMs) para geração de imagens e textos no dispositivo com o LiteRT-LM. No momento, a API Generativa do AI Edge Torch é compatível com CPU e GPU, e há suporte planejado para NPU.

Os desenvolvedores podem usar a API Generativa para integrar LLMs do PyTorch com o LiteRT-LM e criar apps que executam esses modelos convertidos do PyTorch completamente no dispositivo.

Para mais informações, consulte o repositório do GitHub da API Generative Torch.