Google AI Edge | Google AI for Developers

Google AI Edge Portal: Edge-KI im großen Maßstab benchmarken. Melden Sie sich an, um während der privaten Vorschau Zugriff anzufordern.

Produktionsreifes Open-Source-Inferenz-Framework für leistungsstarke, plattformübergreifende LLM-Bereitstellungen auf Edge-Geräten.

GenAI auf dem Gerät in Chrome, Chromebook Plus und Pixel Watch mit LiteRT-LM.

Warum LiteRT-LM?

LLMs auf Android-, iOS-, Web- und Desktop-Geräten bereitstellen

Leistung mit GPU- und NPU-Beschleunigung maximieren

Unterstützung für gängige LLMs sowie Multimodalität (Vision, Audio) und Tool Use.

Python-APIs mit Hardwarebeschleunigung für Linux, MacOS, Windows und Raspberry Pi.

Native Android-Apps und JVM-basierte Desktop-Tools.

Native iOS- und macOS-Integration mit spezieller Metal-Unterstützung (Swift-APIs folgen demnächst).

plattformübergreifende C++-APIs .

Mit LiteRT-LM können Sie Sprachmodelle auf Wearables und browserbasierten Plattformen bereitstellen.

Hier erfahren Sie, wie Sie FunctionGemma optimieren und Funktionsaufruffunktionen aktivieren, die auf LiteRT-LM Tool Use APIs basieren.

Aktuelle Informationen zu RAG, Multimodalität und Funktionsaufrufen für Edge-Sprachmodelle.

Sie können zum Open-Source-Projekt beitragen, Probleme melden und Beispiele ansehen.

Laden Sie vorkonvertierte Modelle herunter und beteiligen Sie sich an der Diskussion.