Framework di inferenza open source pronto per la produzione progettato per fornire implementazioni LLM multipiattaforma ad alte prestazioni su dispositivi edge.
Panoramica Inizia

In evidenza

Porta competenze agentiche all'avanguardia sull'edge con Gemma 4.
Ulteriori informazioni

Perché LiteRT-LM?

Implementa i LLM su Android, iOS, web e computer.
Massimizza le prestazioni con l'accelerazione di GPU e NPU.
Supporto per LLM popolari, nonché per la multimodalità (visione, audio) e l'utilizzo di strumenti.

Inizia a creare

API Python con accelerazione hardware su Linux, macOS, Windows e Raspberry Pi.
Guida di Python
App Android native e strumenti desktop basati su JVM.
Guida di Android
Integrazione nativa con iOS e macOS con supporto Metal specializzato (API Swift in arrivo).
Guida C++
API C++ multipiattaforma .
Guida C++

Unisciti alla Community

Contribuisci al progetto open source, segnala problemi e visualizza esempi.
Visualizza su GitHub
Scarica modelli pre-convertiti (Gemma, Qwen e altri) e partecipa alla discussione.
Visualizza su Hugging Face

Blog e annunci

Esegui il deployment di Gemma 4 in-app e su una gamma più ampia di dispositivi con prestazioni e copertura eccezionali utilizzando LiteRT-LM.
Esegui il deployment di modelli linguistici su dispositivi indossabili e piattaforme basate su browser utilizzando LiteRT-LM su larga scala.
Scopri come ottimizzare FunctionGemma e abilitare le funzionalità di chiamata di funzione basate sulle API LiteRT-LM Tool Use.
Approfondimenti più recenti su RAG, multimodalità e chiamata di funzione per i modelli linguistici edge.