Produktionsreifes Open-Source-Inferenz-Framework für leistungsstarke, plattformübergreifende LLM-Bereitstellungen auf Edge-Geräten
Übersicht

Warum LiteRT-LM?

LLMs auf Android-, iOS-, Web- und Desktop-Geräten bereitstellen
Leistung mit GPU- und NPU-Beschleunigung maximieren
Unterstützung für gängige LLMs sowie Multimodalität (Vision, Audio) und Tool Use.
Führen Sie die neuesten offenen Modelle aus, die für den Edge optimiert sind, darunter Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3 und Phi-4.
Modellliste ansehen

Gleich mit dem Erstellen loslegen

Native Android-Apps und JVM-basierte Desktop-Tools.
Android-Leitfaden
Native iOS- und macOS-Integration mit spezieller Metal-Unterstützung (Swift-APIs folgen demnächst).
Plattformübergreifender C++-Leitfaden
Direkt im Browser mit WebAssembly und WebGPU ausführen (JS-APIs folgen demnächst).
Plattformübergreifender C++-Leitfaden

Teil der Community werden

Sie können zum Quellcode beitragen, Probleme melden und Beispiele ansehen.
Auf GitHub ansehen
Laden Sie vorkonvertierte Modelle herunter und beteiligen Sie sich an der Diskussion.
In Hugging Face ansehen