LiteRT-LM è un framework di inferenza open source pronto per la produzione progettato per offrire deployment di LLM multipiattaforma ad alte prestazioni su dispositivi edge.
- Supporto cross-platform:esegui l'app su Android, iOS, web, computer e IoT (ad es. Raspberry Pi).
- Accelerazione hardware:ottieni prestazioni di picco e stabilità del sistema sfruttando gli acceleratori GPU e NPU su hardware diversi.
- Multimodalità:crea con LLM che supportano la visione e l'audio.
- Utilizzo degli strumenti:supporto della chiamata di funzioni per flussi di lavoro agentici con decodifica vincolata per una maggiore precisione.
- Ampio supporto di modelli:esegui Gemma, Llama, Phi-4, Qwen e altri.
Novità (v0.12.0)
- API Swift: integra in modo nativo LiteRT-LM nelle applicazioni iOS con l'accelerazione GPU Metal. Consulta la guida di Swift.
- API JavaScript web: esegui modelli all'interno dei browser web con prestazioni elevate utilizzando la GPU/CPU web. Consulta la Guida a JavaScript.
- Aggiornamento dell'API Python / CLI LiteRT-LM: l'interfaccia a riga di comando e l'API Python ora supportano la NPU, oltre ai backend CPU e GPU su Linux, macOS e Windows. Consulta la guida all'interfaccia a riga di comando.
- API Flutter gestite dalla community: crea applicazioni Flutter multipiattaforma utilizzando il pacchetto flutter_gemma della community. Consulta la guida di Flutter.
Showcase dell'AI generativa sul dispositivo
La galleria Google AI Edge è un'app sperimentale progettata per mostrare le funzionalità di AI generativa sul dispositivo, eseguite interamente offline utilizzando LiteRT-LM.
- Google Play: Utilizza i LLM localmente sui dispositivi Android supportati.
- App Store: Prova l'AI sul dispositivo iOS.
- Origine GitHub: visualizza il codice sorgente dell'app di galleria per scoprire come integrare LiteRT-LM nei tuoi progetti.
Modello in evidenza: Gemma-4-E2B
- Dimensione modello: 2,58 GB
Ulteriori dettagli tecnici sono disponibili nella scheda del modello HuggingFace.
Piattaforma (dispositivo) Backend Prefill (tk/s) Decodifica (tk/s) Tempo al primo token (secondi) Memoria CPU di picco (MB) Android (S26 Ultra) CPU 557 47 1,8 1733 GPU 3808 52 0,3 676 iOS (iPhone 17 Pro) CPU 532 25 1.9 607 GPU 2878 56 0,3 1450 Linux (Arm 2,3 e 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628 GPU 11234 143 0,1 913 macOS (MacBook Pro M4) CPU 901 42 1.1 736 GPU 7835 160 0,1 1623 Windows (Intel LunarLake) CPU 435 30 2,4 3505 GPU 3751 48 0,3 3540 IoT (Raspberry Pi 5 16GB) CPU 133 8 7,8 1546
Inizia a creare
LiteRT-LM fornisce API per diversi linguaggi di programmazione e piattaforme per aiutarti a creare rapidamente applicazioni di AI sul dispositivo. Seleziona una guida di seguito per iniziare:
| Lingua | Stato | Ideali per… | Documentazione |
|---|---|---|---|
| CLI | ✅ Stabile |
Inizia a utilizzare LiteRT-LM in meno di 1 minuto. | Guida alla CLI |
| Python | ✅ Stabile |
Prototipazione rapida, sviluppo su computer e Raspberry Pi. | Guida Python |
| Kotlin | ✅ Stabile |
App native per Android e strumenti desktop basati su JVM. Ottimizzato per le coroutine. | Guida Kotlin |
| Swift | 🚀 Anteprima |
Integrazione nativa con iOS e macOS con supporto Metal specializzato. | Guida Swift |
| JavaScript (web) | 🚀 Anteprima |
Esegui il deployment dei modelli direttamente nei browser web con prestazioni elevate. | Guida JavaScript |
| Flutter | 🚀 Community |
App Flutter multipiattaforma che utilizzano la community flutter_gemma. |
Guida di Flutter |
| C++ | ✅ Stabile |
Logica di base e sistemi incorporati multipiattaforma ad alte prestazioni. | Guida C++ |
Compilare dall'origine
Se vuoi personalizzare LiteRT-LM o compilarlo per una configurazione hardware specifica, puoi compilarlo direttamente dal codice sorgente. Per istruzioni passo passo su come configurare l'ambiente e creare il framework, consulta la guida alla build e all'esecuzione di LiteRT-LM su GitHub.
Backend e piattaforme supportati
| Accelerazione | Android | iOS | macOS | Windows | Linux | IoT |
|---|---|---|---|---|---|---|
| CPU | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| GPU | ✅ | ✅ | ✅ | ✅ | ✅ | - |
| NPU | ✅ | - | - | 🚀 | - | - |
Modelli supportati
La seguente tabella elenca i modelli supportati da LiteRT-LM. Per numeri di rendimento e schede del modello più dettagliati, visita la community LiteRT su Hugging Face.
| Modello | Tipo | Dimensione (MB) | Dettagli | Dispositivo | CPU Prefill (tk/s) | Decodifica CPU (tk/s) | Riempimento GPU (token/s) | Decodifica GPU (tk/s) |
|---|---|---|---|---|---|---|---|---|
| Gemma4-E2B | Chat | 2583 | Scheda del modello | Samsung S26 Ultra | 557 | 47 | 3808 | 52 |
| iPhone 17 Pro | 532 | 25 | 2878 | 57 | ||||
| MacBook Pro M4 | 901 | 42 | 7835 | 160 | ||||
| Gemma4-E4B | Chat | 3654 | Scheda del modello | Samsung S26 Ultra | 195 | 18 | 1293 | 22 |
| iPhone 17 Pro | 159 | 10 | 1189 | 25 | ||||
| MacBook Pro M4 | 277 | 27 | 2560 | 101 | ||||
| Gemma-3n-E2B | Chat | 2965 | Scheda del modello | MacBook Pro M3 | 233 | 28 | - | - |
| Samsung S24 Ultra | 111 | 16 | 816 | 16 | ||||
| Gemma-3n-E4B | Chat | 4235 | Scheda del modello | MacBook Pro M3 | 170 | 20 | - | - |
| Samsung S24 Ultra | 74 | 9 | 548 | 9 | ||||
| Gemma3-1B | Chat | 1005 | Scheda del modello | Samsung S24 Ultra | 177 | 33 | 1191 | 24 |
| FunctionGemma | Livelli | 289 | Scheda del modello | Samsung S25 Ultra | 2238 | 154 | - | - |
| phi-4-mini | Chat | 3906 | Scheda del modello | Samsung S24 Ultra | 67 | 7 | 314 | 10 |
| Qwen2.5-1.5B | Chat | 1598 | Scheda del modello | Samsung S25 Ultra | 298 | 34 | 1668 | 31 |
| Qwen3-0.6B | Chat | 586 | Scheda del modello | Vivo X300 Pro | 165 | 9 | 580 | 21 |
| Qwen2.5-0.5B | Chat | 521 | Scheda del modello | Samsung S24 Ultra | 251 | 30 | - | - |
Segnalare i problemi
Se riscontri un bug o hai una richiesta di funzionalità, segnalalo all'indirizzo LiteRT-LM GitHub Issues.