Framework di inferenza open source pronto per la produzione progettato per fornire deployment LLM multipiattaforma ad alte prestazioni sui dispositivi edge
Panoramica

Perché LiteRT-LM?

Implementa i LLM su Android, iOS, web e computer.
Massimizza le prestazioni con l'accelerazione di GPU e NPU.
Supporto per LLM popolari, nonché per la multimodalità (visione, audio) e l'utilizzo di strumenti.
Esegui gli ultimi modelli open ottimizzati per l'edge, tra cui Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 e altri ancora.
Visualizzare l'elenco dei modelli

Inizia a creare

App Android native e strumenti desktop basati su JVM.
Guida di Android
Integrazione nativa con iOS e macOS con supporto Metal specializzato (API Swift in arrivo).
Guida a C++ cross-platform
Esegui direttamente nel browser con WebAssembly e WebGPU (API JS in arrivo).
Guida a C++ cross-platform

Unisciti alla Community

Contribuire al codice sorgente, segnalare problemi e visualizzare esempi.
Visualizza su GitHub
Scarica i modelli pre-convertiti e partecipa alla discussione.
Visualizza su Hugging Face