Framework de inferência de código aberto pronto para produção, projetado para oferecer implantações de LLM de alto desempenho e multiplataforma em dispositivos de borda.
Visão geral

Por que o LiteRT-LM?

Implante LLMs no Android, iOS, na Web e em computadores.
Maximize a performance com a aceleração de GPU e NPU.
Suporte para LLMs conhecidos, além de multimodalidade (Visão, Áudio) e uso de ferramentas.
Execute os modelos abertos mais recentes otimizados para a borda, incluindo Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 e muito mais.
Ver lista de modelos

Comece a criar

Apps Android nativos e ferramentas de computador baseadas em JVM.
Guia do Android
Integração nativa com iOS e macOS e suporte especializado para Metal (APIs Swift em breve).
Guia de C++ multiplataforma
Executar diretamente no navegador com WebAssembly e WebGPU (APIs JS em breve).
Guia de C++ multiplataforma

Participe da Comunidade

Contribua com o código-fonte, informe problemas e confira exemplos.
Ver no GitHub
Baixe modelos pré-convertidos e participe da discussão.
Ver no Hugging Face