Implementa modelos de IA generativa con LiteRT

LiteRT ofrece una implementación de alto rendimiento para los modelos de IA generativa en plataformas web, de escritorio y para dispositivos móviles. Al aprovechar sin problemas la aceleración por hardware de las CPU, las GPU y las NPU, LiteRT proporciona un rendimiento de vanguardia para la inferencia de IA generativa en el dispositivo.

Puedes implementar modelos complejos de IA generativa con la siguiente pila de tecnología integrada:

  • API de Torch Generative: Es un módulo de Python dentro de la biblioteca de Torch de AI Edge para crear y convertir modelos de IA generativa de PyTorch. Proporciona bloques de compilación optimizados que garantizan una ejecución de alto rendimiento en los dispositivos. Consulta Cómo convertir modelos de IA generativa de PyTorch para obtener más detalles.

  • LiteRT-LM: Es una capa de orquestación especializada creada sobre LiteRT para administrar complejidades específicas de los LLM, como la clonación de sesiones, la administración de caché de KV, el almacenamiento en caché y la puntuación de instrucciones, y la inferencia con estado. Consulta el repositorio de GitHub de LiteRT-LM para obtener más detalles.

  • LiteRT Converter and Runtime: Es el motor fundamental que proporciona una conversión de modelos, una ejecución del tiempo de ejecución y una optimización eficientes, lo que permite una aceleración de hardware avanzada en CPU, GPU y NPU.

Repositorio de modelos de IA generativa de LiteRT

LiteRT admite una colección cada vez mayor de modelos populares de código abierto en la comunidad de Hugging Face de LiteRT. Estos modelos se convierten y ajustan previamente para su implementación inmediata, lo que te permite aprovechar el máximo rendimiento en las CPU, las GPU y las NPU de inmediato.

Estadísticas destacadas