Framework de inferência de código aberto pronto para produção, projetado para oferecer implantações de LLM de alto desempenho e multiplataforma em dispositivos de borda.
Visão geral Começar
IA generativa no dispositivo no Chrome, no Chromebook Plus e no Pixel Watch com LiteRT-LM.
Leia mais

Por que o LiteRT-LM?

Implante LLMs no Android, iOS, na Web e em computadores.
Maximize a performance com a aceleração de GPU e NPU.
Suporte para LLMs conhecidos, além de multimodalidade (Visão, Áudio) e uso de ferramentas.

Comece a criar

APIs Python com aceleração de hardware no Linux, MacOS, Windows e Raspberry Pi.
Guia do Python
Apps Android nativos e ferramentas de computador baseadas em JVM.
Guia do Android
Integração nativa com iOS e macOS e suporte especializado para Metal (APIs Swift em breve).
Guia de C++
APIs C++ multiplataforma .
Guia de C++

Blogs e anúncios

Implante modelos de linguagem em wearables e plataformas baseadas em navegador usando o LiteRT-LM em grande escala.
Saiba como ajustar o FunctionGemma e ativar os recursos de chamada de função com tecnologia das APIs LiteRT-LM Tool Use.
Insights mais recentes sobre RAG, multimodalidade e chamada de função para modelos de linguagem de borda.

Participe da Comunidade

Contribua com o projeto de código aberto, informe problemas e confira exemplos.
Ver no GitHub
Baixe modelos pré-convertidos e participe da discussão.
Ver no Hugging Face