Framework di inferenza open source pronto per la produzione progettato per fornire implementazioni LLM multipiattaforma ad alte prestazioni su dispositivi edge.
Panoramica Inizia
GenAI on-device in Chrome, Chromebook Plus e Pixel Watch con LiteRT-LM.
Ulteriori informazioni

Perché LiteRT-LM?

Implementa i LLM su Android, iOS, web e computer.
Massimizza le prestazioni con l'accelerazione di GPU e NPU.
Supporto per LLM popolari, nonché per la multimodalità (visione, audio) e l'utilizzo di strumenti.

Inizia a creare

API Python con accelerazione hardware su Linux, macOS, Windows e Raspberry Pi.
Guida di Python
App Android native e strumenti desktop basati su JVM.
Guida di Android
Integrazione nativa con iOS e macOS con supporto Metal specializzato (API Swift in arrivo).
Guida C++
API C++ multipiattaforma .
Guida C++

Blog e annunci

Esegui il deployment di modelli linguistici su dispositivi indossabili e piattaforme basate su browser utilizzando LiteRT-LM su larga scala.
Scopri come ottimizzare FunctionGemma e abilitare le funzionalità di chiamata di funzione basate sulle API LiteRT-LM Tool Use.
Approfondimenti più recenti su RAG, multimodalità e chiamata di funzione per i modelli linguistici edge.

Unisciti alla Community

Contribuisci al progetto open source, segnala problemi e visualizza esempi.
Visualizza su GitHub
Scarica i modelli pre-convertiti e partecipa alla discussione.
Visualizza su Hugging Face