LiteRT-LM – Übersicht

LiteRT-LM ist ein produktionsfertiges Open-Source-Framework für die Inferenz, das für leistungsstarke, plattformübergreifende LLM-Bereitstellungen auf Edge-Geräten entwickelt wurde.

• Plattformübergreifende Unterstützung:Ausführung auf Android, iOS, im Web, auf Computern und auf IoT-Geräten (z.B. Raspberry Pi).
• Hardwarebeschleunigung:Maximale Leistung und Systemstabilität durch Nutzung von GPU- und NPU-Beschleunigern auf verschiedenen Hardwareplattformen.
• Multimodalität:Entwicklung mit LLMs, die Bild- und Audioeingaben unterstützen.
• Tool-Nutzung:Unterstützung von Funktionsaufrufen für Agent-Workflows mit eingeschränkter Decodierung für eine höhere Genauigkeit.
• Breite Modellunterstützung:Ausführung von Gemma, Llama, Phi-4, Qwen und mehr.

On-Device GenAI Showcase

Die Google AI Edge-Galerie ist eine experimentelle App, mit der Sie die Möglichkeiten der generativen KI auf dem Gerät demonstrieren können. Sie wird vollständig offline mit LiteRT-LM ausgeführt.

• Google Play: LLMs lokal auf unterstützten Android-Geräten verwenden.
• App Store: KI auf dem Gerät auf Ihrem iOS-Gerät nutzen.
• GitHub-Quelle: Quellcode für die Galerie-App ansehen, um zu erfahren, wie Sie LiteRT-LM in Ihre eigenen Projekte einbinden können.

Vorgestelltes Modell: Gemma-3n-E2B

Ihre erste eigene App

Die folgenden Code-Snippets zeigen die ersten Schritte mit der LiteRT-LM-Befehlszeile sowie den Python-, Kotlin- und C++-APIs.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Unterstützte Back-Ends und Plattformen

Unterstützte Modelle

In der folgenden Tabelle sind die von LiteRT-LM unterstützten Modelle aufgeführt. Weitere Leistungszahlen und Modellkarten finden Sie in der LiteRT-Community auf Hugging Face.

Probleme bei der Berichterstellung

Wenn Sie auf einen Fehler stoßen oder eine Funktionsanfrage haben, melden Sie dies unter LiteRT-LM GitHub Issues.