PyTorch-Modelle für generative KI für die On-Device-Inferenz konvertieren
Die AI Edge Torch Generative API ist eine leistungsstarke Bibliothek, die für das Erstellen und Konvertieren von Transformer-basierten PyTorch-Modellen in das LiteRT-/LiteRT-LM-Format entwickelt wurde. So können Entwickler generative KI-Modelle, insbesondere Large Language Models (LLMs), problemlos für die On-Device-Generierung von Text und Bildern bereitstellen.
Die Torch Generative API unterstützt die Modellkonvertierung für die CPU- und GPU-Ausführung. Die NPU-Unterstützung ist in der Entwicklung. Durch die Kombination der Torch Generative API mit LiteRT-LM können Sie reaktionsschnelle, datenschutzorientierte Anwendungen erstellen, die generative Modelle vollständig auf dem Gerät ausführen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Benötigte Informationen nicht gefunden","missingTheInformationINeed","thumb-down"],["Zu umständlich/zu viele Schritte","tooComplicatedTooManySteps","thumb-down"],["Nicht mehr aktuell","outOfDate","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Problem mit Beispielen/Code","samplesCodeIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-12-22 (UTC)."],[],[]]
