Basierend auf der bewährten Grundlage von TensorFlow Lite
LiteRT ist nicht nur neu, sondern die nächste Generation der weltweit am häufigsten eingesetzten Laufzeitumgebung für maschinelles Lernen. Sie ist die Grundlage für die Apps, die Sie täglich verwenden, und bietet auf Milliarden von Geräten eine niedrige Latenz und einen hohen Datenschutz.
Wird von den wichtigsten Google-Apps verwendet
Über 100.000 Apps, Milliarden von Nutzern weltweit
LiteRT-Highlights
Plattformübergreifend
Generative KI nutzen
Vereinfachte Hardwarebeschleunigung
Unterstützung mehrerer Frameworks
Über LiteRT bereitstellen
Optimieren Sie Ihren Deep-Learning-Workflow vom Training bis zur Bereitstellung auf dem Gerät.
1.Modell abrufen
Verwenden Sie vortrainierte .tflite-Modelle oder konvertieren Sie PyTorch-, JAX- oder TensorFlow-Modelle in .tflite.
2.Optimieren
Verwenden Sie das LiteRT-Optimierungstoolkit, um Ihre Modelle nach dem Training zu quantisieren.
3.Laufen
Stellen Sie Ihr Modell mit LiteRT bereit und wählen Sie den optimalen Beschleuniger für Ihre App aus.
Entwicklungspfad auswählen
Mit LiteRT können Sie KI überall bereitstellen – von leistungsstarken mobilen Apps bis hin zu ressourcenbeschränkten IoT-Geräten.
Bestehender TFLite-Nutzer
Umstellung auf LiteRT, um die verbesserte Leistung und einheitliche APIs auf allen Plattformen (Android, Desktop, Web) zu nutzen.
BYOM : Bring your own Models (Eigene Modelle verwenden)
Sie haben ein PyTorch-Modell und möchten On-Device-Vision- oder Audiofunktionen implementieren.
Generative KI-Modelle bereitstellen
Erstellen Sie anspruchsvolle On-Device-Chatbots mit optimierten GenAI-Modellen mit offenem Gewicht wie Gemma oder einem anderen Modell mit offenem Gewicht.
[Erweitert] Model Expert
Benutzerdefinierte Modelle erstellen oder hardwarebezogene CPU-/GPU-/NPU-Optimierungen für Spitzenleistung durchführen.
Beispiele, Modelle und Demo
LiteRT-Beispiel-App auf GitHub ansehen
Vollständige End-to-End-Beispiel-Apps.
Generative KI-Modelle ansehen
Vortrainierte, sofort einsatzbereite Modelle für generative KI.
Demos ansehen – Google AI Edge-Galerie App
Eine Galerie mit On-Device-ML-/GenAI-Anwendungsfällen mit LiteRT.
Blogs und Ankündigungen
Bleiben Sie mit den neuesten Ankündigungen, ausführlichen technischen Informationen und Leistungsbenchmarks des LiteRT-Teams auf dem Laufenden.
LiteRT: Das universelle Framework für KI auf dem Gerät
Das einheitliche On-Device-ML-Framework von Google, das sich aus TFLite für die leistungsstarke Bereitstellung entwickelt hat.
MediaTek-NPU und LiteRT: Die nächste Generation von On-Device-KI
Ausweitung der Unterstützung für die NPU-Beschleunigung auf MediaTek-Chipsets für hocheffiziente KI.
Maximale Leistung auf Qualcomm-NPUs mit LiteRT
Bahnbrechende Leistung für generative KI auf Qualcomm-NPU.
LiteRT: Maximale Leistung, vereinfacht
Einführung der CompiledModel API für die automatische Hardwareauswahl und asynchrone Ausführung.
On-Device-GenAI in Chrome, Chromebook Plus und Pixel Watch mit LiteRT-LM
Mit LiteRT-LM können Sie Sprachmodelle auf Wearables und browserbasierten Plattformen bereitstellen.
Google AI Edge – Small Language Models, Multimodalität und Funktionsaufrufe
Neueste Informationen zu RAG, Multimodalität und Funktionsaufrufen für Edge-Sprachmodelle
Teil der Community werden
LiteRT-GitHub-Community
Direkt zum Projekt beitragen und mit den Hauptentwicklern zusammenarbeiten
Hugging Face Hub
Sie haben Zugriff auf optimierte Open-Weight-Modelle im Hugging Face Hub.