Ejecuta LLMs en el dispositivo con LiteRT-LM
Es un framework de inferencia de código abierto listo para producción diseñado para ofrecer implementaciones de LLM multiplataforma y de alto rendimiento en dispositivos perimetrales.
¿Por qué usar LiteRT-LM?
Plataforma cruzada
Implementa LLMs en Android, iOS, la Web y computadoras.
Acelerado por hardware
Maximiza el rendimiento con la aceleración de la GPU y la NPU.
Amplias capacidades de IA generativa
Compatibilidad con LLMs populares, así como con multimodalidad (Vision, Audio) y uso de herramientas
Modelos compatibles
Ejecuta los modelos abiertos más recientes optimizados para el borde, incluidos Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 y muchos más.
Comienza con la compilación
Android
Apps nativas para Android y herramientas de escritorio basadas en JVM
iOS
Integración nativa en iOS y macOS con compatibilidad especializada con Metal (próximamente, habrá APIs de Swift).
Web
Se ejecuta directamente en el navegador con WebAssembly y WebGPU (pronto estarán disponibles las APIs de JS).
Únete a la Comunidad
GitHub
Contribuir al código fuente, informar problemas y ver ejemplos
Hugging Face
Descarga modelos preconvertidos y participa en el debate.