La API generativa de AI Edge Torch es una biblioteca optimizada para dispositivos móviles que sirve para convertir modelos de PyTorch basados en transformadores al formato TF Lite, lo que te permite convertir modelos grandes de lenguaje (LLM) para la generación de imágenes y texto en el dispositivo con TF Lite y MediaPipe. Por el momento, la API generativa de AI Edge Torch es solo para CPU, y se prevé compatibilidad con GPU y NPU.
Los desarrolladores de apps para dispositivos móviles pueden usar la API de Edge Generative para integrar los LLM de PyTorch con la API de inferencia de LLM MediaPipe para crear apps que ejecuten esos modelos de PyTorch convertidos completamente en el dispositivo.
Para obtener más información, consulta el repositorio de GitHub de la API de Generative Torch.