Framework d'inférence Open Source prêt pour la production, conçu pour déployer des LLM hautes performances et multiplates-formes sur des appareils périphériques.
Aperçu Débuter
IA générative sur l'appareil dans Chrome, Chromebook Plus et Pixel Watch avec LiteRT-LM.
En savoir plus

Pourquoi LiteRT-LM ?

Déployez des LLM sur Android, iOS, le Web et les ordinateurs.
Maximisez les performances grâce à l'accélération GPU et NPU.
Prise en charge des LLM populaires, ainsi que de la multimodalité (Vision, Audio) et de l'utilisation d'outils.

Démarrer la création

API Python avec accélération matérielle sur Linux, macOS, Windows et Raspberry Pi.
Guide Python
Applications Android natives et outils de bureau basés sur la JVM.
Guide Android
Intégration native à iOS et macOS avec prise en charge spécialisée de Metal (API Swift bientôt disponibles).
Guide C++
API C++ multiplate-formes
Guide C++

Blogs et annonces

Déployez des modèles de langage sur des plates-formes portables et basées sur navigateur à l'aide de LiteRT-LM à grande échelle.
Découvrez comment affiner FunctionGemma et activer les fonctionnalités d'appel de fonction optimisées par les API d'utilisation d'outils LiteRT-LM.
Dernières informations sur la RAG, la multimodalité et les appels de fonction pour les modèles de langage Edge.

Rejoignez la communauté

Contribuez au projet Open Source, signalez des problèmes et consultez des exemples.
Afficher sur GitHub
Téléchargez des modèles préconvertis et participez à la discussion.
Afficher sur Hugging Face