Die Generative AI Edge Torch API ist eine für Mobilgeräte optimierte Bibliothek, mit der Transformator-basierte PyTorch-Modelle in das LiteRT-Format an, mit dem Sie Large Language Models (LLMs) für Bild- und Textgenerierung mit LiteRT und MediaPipe auf dem Gerät Die generative API von AI Edge Torch ist derzeit nur für CPU-Ressourcen verfügbar und wird von geplanten GPUs und NPUs unterstützt.
Entwickler mobiler Apps können die Edge Generative API verwenden, um PyTorch-LLMs zu integrieren. mit der MediaPipe LLM Inference API zum Erstellen von Apps verwenden, die um diese umgewandelten PyTorch-Modelle vollständig auf dem Gerät auszuführen.
Weitere Informationen finden Sie auf GitHub in der Generative Torch API. Repository.