O LiteRT-LM é um framework de inferência de código aberto pronto para produção projetado para oferecer implantações de LLM de alto desempenho e multiplataforma em dispositivos de borda.
- Suporte multiplataforma:execute no Android, iOS, Web, computador e IoT (por exemplo, Raspberry Pi).
- Aceleração de hardware:tenha o máximo de desempenho e estabilidade do sistema usando aceleradores de GPU e NPU em diversos hardwares.
- Multimodalidade:crie com LLMs que oferecem suporte a visão e áudio.
- Uso de ferramentas:compatibilidade com chamada de função para fluxos de trabalho agênticos com decodificação restrita para melhorar a acurácia.
- Suporte a vários modelos:execute o Gemma, o Llama, o Phi-4, o Qwen e muito mais.
Novidades (v0.12.0)
- APIs Swift: integre nativamente o LiteRT-LM a aplicativos iOS com aceleração de GPU Metal. Consulte o guia do Swift.
- APIs JavaScript da Web: execute modelos em navegadores da Web com alto desempenho usando GPU/CPU da Web. Consulte o guia de JavaScript.
- Atualização da CLI / API Python do LiteRT-LM: a interface de linha de comando e a API Python agora oferecem suporte a NPU, além de back-ends de CPU e GPU no Linux, macOS e Windows. Consulte o guia da CLI.
- APIs Flutter mantidas pela comunidade: crie aplicativos Flutter multiplataforma usando o pacote flutter_gemma da comunidade. Consulte o guia do Flutter.
Demonstração de IA generativa no dispositivo
A Galeria do Google AI Edge é um app experimental criado para mostrar os recursos de IA generativa no dispositivo, executados totalmente off-line usando o LiteRT-LM.
- Google Play: use LLMs localmente em dispositivos Android compatíveis.
- App Store: Aproveite a IA no dispositivo no seu dispositivo iOS.
- Fonte do GitHub: confira o código-fonte do app de galeria para saber como integrar o LiteRT-LM aos seus próprios projetos.
Modelo em destaque: Gemma-4-E2B
- Tamanho do modelo: 2,58 GB
Confira mais detalhes técnicos no card de modelo do HuggingFace.
Plataforma (dispositivo) Back-end Pré-preenchimento (tk/s) Decodificação (tk/s) Tempo até o primeiro token (segundos) Pico de memória da CPU (MB) Android (S26 Ultra) CPU 557 47 1,8 1733 GPU 3808 52 0,3 676 iOS (iPhone 17 Pro) CPU 532 25 1.9 607 GPU 2878 56 0,3 1.450 Linux (Arm 2,3 e 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628 GPU 11234 143 0,1 913 macOS (MacBook Pro M4) CPU 901 42 1.1 736 GPU 7835 160 0,1 1623 Windows (Intel LunarLake) CPU 435 30 2.4 3505 GPU 3751 48 0,3 3540 IoT (Raspberry Pi 5 de 16 GB) CPU 133 8 7,8 1546
Comece a criar
O LiteRT-LM fornece APIs para várias linguagens de programação e plataformas para ajudar você a criar aplicativos de IA no dispositivo rapidamente. Selecione um guia abaixo para começar:
| Idioma | Status | Ideal para... | Documentação |
|---|---|---|---|
| CLI | ✅ Estável |
Comece a usar o LiteRT-LM em menos de um minuto. | Guia da CLI |
| Python | ✅ Estável |
Prototipagem rápida, desenvolvimento em computadores e Raspberry Pi. | Guia do Python |
| Kotlin | ✅ Estável |
Apps Android nativos e ferramentas de computador baseadas em JVM. Otimizado para corrotinas. | Guia de Kotlin |
| Swift | 🚀 Pré-lançamento |
Integração nativa com iOS e macOS com suporte especializado para Metal. | Guia do Swift |
| JavaScript (Web) | 🚀 Pré-lançamento |
Implante modelos diretamente em navegadores da Web com alta performance. | Guia de JavaScript |
| Flutter | 🚀 Comunidade |
Multiplataforma
Apps Flutter
usando a comunidade
flutter_gemma. |
Guia do Flutter |
| C++ | ✅ Estável |
Lógica principal de alto desempenho e multiplataforma e sistemas incorporados. | Guia do C++ |
Criar a partir da fonte
Se você quiser personalizar ou criar o LiteRT-LM para uma configuração de hardware específica, compile-o diretamente do código-fonte. Para instruções detalhadas sobre como configurar seu ambiente e criar o framework, consulte o Guia de build e execução do LiteRT-LM no GitHub.
Back-ends e plataformas compatíveis
| Aceleração | Android | iOS | macOS | Windows | Linux | Internet das Coisas (IoT) |
|---|---|---|---|---|---|---|
| CPU | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| GPU | ✅ | ✅ | ✅ | ✅ | ✅ | - |
| NPU | ✅ | - | - | 🚀 | - | - |
Modelos compatíveis
A tabela a seguir lista os modelos compatíveis com o LiteRT-LM. Para números de performance e cards de modelo mais detalhados, acesse a comunidade LiteRT no Hugging Face.
| Modelo | Tipo | Tamanho (MB) | Detalhes | Dispositivo | Pré-enchimento da CPU (tk/s) | Decodificação da CPU (tk/s) | Pré-preenchimento da GPU (tk/s) | Decodificação de GPU (tk/s) |
|---|---|---|---|---|---|---|---|---|
| Gemma4-E2B | Chat | 2583 | Card de modelo | Samsung S26 Ultra | 557 | 47 | 3808 | 52 |
| iPhone 17 Pro | 532 | 25 | 2878 | 57 | ||||
| MacBook Pro M4 | 901 | 42 | 7835 | 160 | ||||
| Gemma4-E4B | Chat | 3654 | Card de modelo | Samsung S26 Ultra | 195 | 18 | 1293 | 22 |
| iPhone 17 Pro | 159 | 10 | 1189 | 25 | ||||
| MacBook Pro M4 | 277 | 27 | 2560 | 101 | ||||
| Gemma-3n-E2B | Chat | 2965 | Card de modelo | MacBook Pro M3 | 233 | 28 | - | - |
| Samsung S24 Ultra | 111 | 16 | 816 | 16 | ||||
| Gemma-3n-E4B | Chat | 4235 | Card de modelo | MacBook Pro M3 | 170 | 20 | - | - |
| Samsung S24 Ultra | 74 | 9 | 548 | 9 | ||||
| Gemma3-1B | Chat | 1005 | Card de modelo | Samsung S24 Ultra | 177 | 33 | 1191 | 24 |
| FunctionGemma | Base | 289 | Card de modelo | Samsung S25 Ultra | 2238 | 154 | - | - |
| phi-4-mini | Chat | 3906 | Card de modelo | Samsung S24 Ultra | 67 | 7 | 314 | 10 |
| Qwen2.5-1.5B | Chat | 1598 | Card de modelo | Samsung S25 Ultra | 298 | 34 | 1668 | 31 |
| Qwen3-0.6B | Chat | 586 | Card de modelo | Vivo X300 Pro | 165 | 9 | 580 | 21 |
| Qwen2.5-0.5B | Chat | 521 | Card de modelo | Samsung S24 Ultra | 251 | 30 | - | - |
Informar problemas
Se você encontrar um bug ou tiver uma solicitação de recurso, informe em Problemas do GitHub do LiteRT-LM.