Ejecuta LLMs en el dispositivo con LiteRT-LM
Es un framework de inferencia de código abierto listo para producción diseñado para ofrecer implementaciones de LLM multiplataforma y de alto rendimiento en dispositivos perimetrales.
Contenido destacado
Consulta nuestro blog más reciente para descubrir cómo LiteRT-LM potencia tus implementaciones de IA generativa integrada en el dispositivo y desbloquea todo el potencial de Gemma 4 con una velocidad increíble y una eficiencia asombrosa gracias a las nuevas APIs de Swift, JavaScript y Flutter.
¿Por qué usar LiteRT-LM?
Plataforma cruzada
Implementa LLMs en Android, iOS, la Web y computadoras.
Acelerado por hardware
Maximiza el rendimiento con la aceleración de la GPU y la NPU.
Amplias capacidades de IA generativa
Compatibilidad con LLMs populares, así como con multimodalidad (Vision, Audio) y uso de herramientas
Comienza con la compilación
Python
APIs de Python con aceleración de hardware en Linux, macOS, Windows y Raspberry Pi.
Android
Apps nativas para Android y herramientas de escritorio basadas en JVM
iOS
APIs de Swift nativas para iOS (próximamente para macOS)
Web
APIs de JavaScript y TypeScript para apps web basadas en el navegador con aceleración de WebGPU.
Flutter
Compila apps de Flutter multiplataforma con el paquete flutter_gemma que mantiene la comunidad.
C++
APIs de C++ multiplataforma .
File Builder
Compila archivos .litertlm a partir de modelos de LiteRT convertidos.
Únete a la Comunidad
LiteRT-LM en GitHub
Contribuye al proyecto de código abierto, informa problemas y consulta ejemplos.
Hugging Face
Descarga modelos previamente convertidos (Gemma, Qwen y muchos más) y participa en el debate.
Blogs y anuncios
Potencia la inferencia integrado en el dispositivo de Gemma 4 con la predicción de varios tokens (MTP)
Experimenta velocidades de decodificación más de 2 veces más rápidas en las GPU para dispositivos móviles sin degradación de la calidad.
Incorpora habilidades de agente de vanguardia al borde con Gemma 4.
Implementa Gemma 4 en la app y en una mayor variedad de dispositivos con un rendimiento y un alcance excepcionales gracias a LiteRT-LM.
IA generativa integrada en Chrome, Chromebook Plus y Pixel Watch
Implementa modelos de lenguaje en plataformas basadas en navegadores y wearables a gran escala con LiteRT-LM.
Llamadas a funciones integradas en el dispositivo en la Galería de Google AI Edge
Explora cómo ajustar FunctionGemma y habilitar las capacidades de llamada a funciones con las APIs de LiteRT-LM Tool Use.
Modelos de lenguaje pequeños, multimodalidad y llamadas a funciones de Google AI Edge
Las estadísticas más recientes sobre RAG, multimodalidad y llamada a función para modelos de lenguaje perimetrales.