Ejecuta LLMs en el dispositivo con LiteRT-LM
Es un framework de inferencia de código abierto listo para producción diseñado para ofrecer implementaciones de LLM multiplataforma y de alto rendimiento en dispositivos perimetrales.
Contenido destacado
IA generativa integrada en el dispositivo en Chrome, Chromebook Plus y Pixel Watch con LiteRT-LM.
¿Por qué usar LiteRT-LM?
Plataforma cruzada
Implementa LLMs en Android, iOS, la Web y computadoras.
Acelerado por hardware
Maximiza el rendimiento con la aceleración de la GPU y la NPU.
Amplias capacidades de IA generativa
Compatibilidad con LLMs populares, así como con multimodalidad (Vision, Audio) y uso de herramientas
Comienza con la compilación
Python
APIs de Python con aceleración de hardware en Linux, macOS, Windows y Raspberry Pi.
Android
Apps nativas para Android y herramientas de escritorio basadas en JVM
iOS
Integración nativa en iOS y macOS con compatibilidad especializada con Metal (próximamente, habrá APIs de Swift).
C++
APIs de C++ multiplataforma .
Blogs y anuncios
IA generativa integrada en Chrome, Chromebook Plus y Pixel Watch
Implementa modelos de lenguaje en plataformas basadas en navegadores y wearables a gran escala con LiteRT-LM.
Llamadas a funciones integradas en el dispositivo en la Galería de Google AI Edge
Explora cómo ajustar FunctionGemma y habilitar las capacidades de llamada a funciones con las APIs de LiteRT-LM Tool Use.
Modelos de lenguaje pequeños, multimodalidad y llamadas a funciones de Google AI Edge
Las estadísticas más recientes sobre RAG, multimodalidad y llamada a función para modelos de lenguaje perimetrales.
Únete a la Comunidad
LiteRT-LM en GitHub
Contribuye al proyecto de código abierto, informa problemas y consulta ejemplos.
Hugging Face
Descarga modelos preconvertidos y participa en el debate.