轉換生成式 PyTorch 模型

AI Edge Torch Generative API 是一項程式庫，可將以 Transformer 為基礎的 PyTorch 模型轉換為 LiteRT 格式，讓您轉換大型語言模型 (LLM)，透過 LiteRT-LM 在裝置上生成圖片和文字。AI Edge Torch 生成 API 目前支援 CPU 和 GPU，並預計支援 NPU。

開發人員可以透過 Generative API 將 PyTorch LLM 與 LiteRT-LM 整合，建立完全在裝置上執行轉換後 PyTorch 模型的應用程式。

詳情請參閱 Generative Torch API GitHub 存放區。