La tecnología AI Edge Torch Generative API es una biblioteca optimizada para dispositivos móviles que permite convertir modelos de PyTorch basados en Transformer LiteRT, que te permite convertir modelos de lenguaje extenso (LLM) para la generación de imágenes y texto en el dispositivo con LiteRT y MediaPipe. Por el momento, la API generativa de AI Edge Torch es solo de CPU, con compatibilidad planificada para GPU y NPU.
Los desarrolladores de apps para dispositivos móviles pueden usar la API de Edge Generative para integrar los LLM de PyTorch con el método de inferencia de MediaPipe LLM API para crear apps que ejecutar esos modelos convertidos de PyTorch completamente en el dispositivo.
Para obtener más información, consulta la API de Generative Torch en GitHub repo.