Framework di inferenza open source pronto per la produzione progettato per fornire implementazioni LLM multipiattaforma ad alte prestazioni su dispositivi edge.
Panoramica Inizia

In evidenza

Dai un'occhiata al nostro ultimo blog per scoprire come LiteRT-LM potenzia le implementazioni di AI generativa on-device, sfruttando tutto il potenziale di Gemma 4 con velocità incredibile ed efficienza straordinaria grazie alle API Swift, JavaScript e Flutter appena aggiunte.
Post del blog Panoramica

Perché LiteRT-LM?

Implementa i LLM su Android, iOS, web e computer.
Massimizza le prestazioni con l'accelerazione di GPU e NPU.
Supporto per LLM popolari, nonché per la multimodalità (visione, audio) e l'utilizzo di strumenti.

Inizia a creare

API Python con accelerazione hardware su Linux, macOS, Windows e Raspberry Pi.
Guida di Python
App Android native e strumenti desktop basati su JVM.
Guida di Android
API Swift native per iOS (macOS disponibile a breve).
Guida di Swift
API JavaScript e TypeScript per app web basate su browser con accelerazione WebGPU.
Guida web
Crea app Flutter multipiattaforma utilizzando il pacchetto flutter_gemma gestito dalla community.
Guida di Flutter
API C++ multipiattaforma .
Guida C++
Crea file .litertlm dai modelli LiteRT convertiti.
Guida alla creazione di file

Unisciti alla Community

Contribuisci al progetto open source, segnala problemi e visualizza esempi.
Visualizza su GitHub
Scarica modelli pre-convertiti (Gemma, Qwen e altri) e partecipa alla discussione.
Visualizza su Hugging Face

Blog e annunci

Sperimenta velocità di decodifica più che doppie sulle GPU mobile senza alcuna perdita di qualità.
Esegui il deployment di Gemma 4 in-app e su una gamma più ampia di dispositivi con prestazioni e copertura eccezionali utilizzando LiteRT-LM.
Esegui il deployment di modelli linguistici su dispositivi indossabili e piattaforme basate su browser utilizzando LiteRT-LM su larga scala.
Scopri come ottimizzare FunctionGemma e abilitare le funzionalità di chiamata di funzione basate sulle API LiteRT-LM Tool Use.
Approfondimenti più recenti su RAG, multimodalità e chiamata di funzione per i modelli linguistici edge.