GenAI-Modelle mit LiteRT bereitstellen

LiteRT bietet eine leistungsstarke Bereitstellung für generative KI-Modelle auf Mobilgeräten, Computern und Webplattformen. Durch die nahtlose Nutzung der Hardwarebeschleunigung von CPUs, GPUs und NPUs bietet LiteRT eine hochmoderne Leistung für die On-Device-GenAI-Inferenz.

Sie können komplexe GenAI-Modelle mit dem folgenden integrierten Technologie-Stack bereitstellen:

  • Torch Generative API: Ein Python-Modul in der LiteRT Torch Library zum Erstellen und Konvertieren von PyTorch GenAI-Modellen. Sie bietet optimierte Bausteine, die für eine leistungsstarke Ausführung auf Geräten sorgen. Weitere Informationen finden Sie unter PyTorch GenAI-Modelle konvertieren.

  • LiteRT-LM: Eine spezielle Orchestrierungsebene, die auf LiteRT aufbaut, um LLM-spezifische Komplexitäten wie das Klonen von Sitzungen, die Verwaltung von KV-Caches, das Zwischenspeichern/Bewerten von Prompts und die zustandsbehaftete Inferenz zu verwalten. Weitere Informationen finden Sie im GitHub-Repository für LiteRT-LM.

  • LiteRT Converter und Runtime: Die zugrunde liegende Engine, die eine effiziente Modellkonvertierung, Laufzeitausführung und ‑optimierung ermöglicht und eine erweiterte Hardwarebeschleunigung für CPU, GPU und NPU bietet.

LiteRT GenAI Model Zoo

LiteRT unterstützt eine wachsende Sammlung beliebter Open-Weight-Modelle in der LiteRT Hugging Face-Community. Diese Modelle sind vorkonvertiert und für die sofortige Bereitstellung optimiert. So können Sie die Spitzenleistung von CPUs, GPUs und NPUs sofort nutzen.

Empfohlene Meldungen