O AI Edge Torch Generative API é uma biblioteca otimizada para dispositivos móveis que converte modelos PyTorch baseados em transformador em o formato LiteRT, que permite converter modelos de linguagem grandes (LLMs) em geração de texto e imagem no dispositivo com LiteRT e MediaPipe. No momento, a API AI Edge Torch Generative está disponível apenas para CPU, com suporte planejado a GPUs e NPUs.
Os desenvolvedores de apps para dispositivos móveis podem usar a API Edge Generative para integrar LLMs do PyTorch com a inferência de LLM do MediaPipe API para criar apps que executar esses modelos PyTorch convertidos completamente no dispositivo.
Para saber mais, consulte o GitHub da API Generative Torch gcloud.