Convierte modelos generativos de PyTorch

La API de AI Edge Torch Generative es una biblioteca para convertir modelos de PyTorch basados en transformadores al formato LiteRT, lo que te permite convertir modelos de lenguaje grandes (LLM) para la generación de imágenes y texto en el dispositivo con LiteRT-LM. Actualmente, la API de AI Edge Torch Generative admite CPU y GPU, y se planea la compatibilidad con NPU.

Los desarrolladores pueden usar la API de Generative para integrar LLM de PyTorch con LiteRT-LM y crear apps que ejecuten esos modelos de PyTorch convertidos completamente en el dispositivo.

Para obtener más información, consulta el repositorio de GitHub de la API de Generative Torch.