Cómo convertir modelos de IA generativa de PyTorch para la inferencia en el dispositivo

La API de AI Edge Torch Generative es una biblioteca de alto rendimiento diseñada para crear y convertir modelos de PyTorch basados en transformadores al formato LiteRT/LiteRT-LM. Esto permite a los desarrolladores implementar sin problemas modelos de IA generativa, en especial modelos de lenguaje grandes (LLM), para la generación de texto e imágenes en el dispositivo con facilidad.

La API de Torch Generative admite la conversión de modelos para la ejecución en CPU y GPU, y se está desarrollando la compatibilidad con NPU. Si combinas la API de Torch Generative con LiteRT-LM, puedes crear aplicaciones responsivas y centradas en la privacidad que ejecuten modelos generativos completamente en el dispositivo.

Para obtener más información, consulta el repositorio de GitHub de la API de Generative Torch.