Generative PyTorch-Modelle konvertieren

Die AI Edge Torch Generative API ist eine Bibliothek zum Konvertieren von Transformer-basierten PyTorch-Modellen in das LiteRT-Format. So können Sie Large Language Models (LLMs) für die On-Device-Bild- und Textgenerierung mit LiteRT-LM konvertieren. Die generative API von AI Edge Torch unterstützt derzeit CPUs und GPUs. Die Unterstützung von NPUs ist geplant.

Entwickler können die Generative API verwenden, um PyTorch-LLMs mit LiteRT-LM zu integrieren und Apps zu erstellen, die diese konvertierten PyTorch-Modelle vollständig auf dem Gerät ausführen.

Weitere Informationen finden Sie im GitHub-Repository für die Generative Torch API.