轉換 PyTorch 生成式 AI 模型，用於裝置端推論

AI Edge Torch Generative API 是一套高效能程式庫，專為編寫及轉換以 Transformer 為基礎的 PyTorch 模型而設計，可轉換為 LiteRT/LiteRT-LM 格式。開發人員可輕鬆部署生成式 AI 模型，特別是大型語言模型 (LLM)，在裝置上生成文字和圖片。

Torch Generative API 支援 CPU 和 GPU 執行作業的模型轉換，NPU 支援功能則仍在開發中。將 Torch Generative API 與 LiteRT-LM 配對，即可建構以隱私權為重心的回應式應用程式，完全在裝置端執行生成模型。

詳情請參閱 Generative Torch API GitHub 存放區。