Produktionsreifes Open-Source-Inferenz-Framework für leistungsstarke, plattformübergreifende LLM-Bereitstellungen auf Edge-Geräten.
Übersicht Jetzt starten

Spotlight

Mit der Multi-Token-Vorhersage (Multi-Token Prediction, MTP) lässt sich die On-Device-Inferenz von Gemma 4 noch weiter optimieren. Auf mobilen GPUs ist die Decodierung mehr als doppelt so schnell – ohne Qualitätsverlust.
Blogpost Leitfaden

Warum LiteRT-LM?

LLMs auf Android-, iOS-, Web- und Desktop-Geräten bereitstellen
Leistung mit GPU- und NPU-Beschleunigung maximieren
Unterstützung für gängige LLMs sowie Multimodalität (Vision, Audio) und Tool Use.

Gleich mit dem Erstellen loslegen

Python-APIs mit Hardwarebeschleunigung für Linux, MacOS, Windows und Raspberry Pi.
Python-Leitfaden
Native Android-Apps und JVM-basierte Desktop-Tools.
Android-Leitfaden
Systemeigene iOS-Swift-APIs (macOS folgt demnächst).
Swift-Leitfaden
JavaScript- und TypeScript-APIs für browserbasierte Web-Apps mit WebGPU-Beschleunigung.
Web Guide
Mit dem von der Community verwalteten Paket „flutter_gemma“ plattformübergreifende Flutter-Apps erstellen
Flutter-Leitfaden
plattformübergreifende C++-APIs .
C++-Leitfaden
.litertlm-Dateien aus konvertierten LiteRT-Modellen erstellen
Leitfaden für File Builder

Teil der Community werden

Sie können zum Open-Source-Projekt beitragen, Probleme melden und Beispiele ansehen.
Auf GitHub ansehen
Laden Sie vorkonvertierte Modelle (Gemma, Qwen und mehr) herunter und beteiligen Sie sich an der Diskussion.
In Hugging Face ansehen

Blogs und Ankündigungen

Mit LiteRT-LM können Sie Gemma 4 in der App und auf einer Vielzahl von Geräten mit hervorragender Leistung und Reichweite bereitstellen.
Mit LiteRT-LM können Sie Sprachmodelle auf Wearables und browserbasierten Plattformen bereitstellen.
Hier erfahren Sie, wie Sie FunctionGemma optimieren und Funktionsaufruffunktionen aktivieren, die auf LiteRT-LM Tool Use APIs basieren.
Aktuelle Informationen zu RAG, Multimodalität und Funktionsaufrufen für Edge-Sprachmodelle.