Die AI Edge Torch Generative API ist eine für Mobilgeräte optimierte Bibliothek zum Konvertieren von transformerbasierten PyTorch-Modellen in das TF Lite-Format. Damit können Sie Large Language Models (LLMs) für die On-Device-Bild- und Textgenerierung mit TF Lite und MediaPipe konvertieren. Die AI Edge Torch Generative API ist derzeit nur CPU-basiert und hat geplante GPU- und NPU-Unterstützung.
Entwickler mobiler Apps können die Edge Generative API verwenden, um PyTorch-LLMs in die MediaPipe LLM Inference API einzubinden, um Apps zu erstellen, die diese konvertierten PyTorch-Modelle vollständig auf dem Gerät ausführen.
Weitere Informationen finden Sie im GitHub-Repository zur Generative Torch API.