Framework d'inférence Open Source prêt pour la production, conçu pour déployer des LLM hautes performances et multiplates-formes sur des appareils Edge
Aperçu

Pourquoi LiteRT-LM ?

Déployez des LLM sur Android, iOS, le Web et les ordinateurs.
Maximisez les performances grâce à l'accélération GPU et NPU.
Prise en charge des LLM populaires, ainsi que de la multimodalité (Vision, Audio) et de l'utilisation d'outils.
Exécutez les derniers modèles ouverts optimisés pour l'edge, y compris Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 et plus encore.
Afficher la liste des modèles

Démarrer la création

Applications Android natives et outils de bureau basés sur la JVM.
Guide Android
Intégration native à iOS et macOS avec prise en charge spécialisée de Metal (API Swift bientôt disponibles).
Guide C++ multiplate-forme
Exécutez-le directement dans le navigateur avec WebAssembly et WebGPU (API JS bientôt disponibles).
Guide C++ multiplate-forme

Rejoignez la communauté

Contribuez au code source, signalez des problèmes et consultez des exemples.
Afficher sur GitHub
Téléchargez des modèles préconvertis et participez à la discussion.
Afficher sur Hugging Face