生成 PyTorch モデルを変換する

AI Edge Torch Generative API は、変換ベースの PyTorch モデルを LiteRT 形式に変換するためのライブラリです。これにより、LiteRT-LM を使用してオンデバイスの画像とテキスト生成用の大規模言語モデル(LLM)を変換できます。AI Edge Torch Generative API は現在 CPU と GPU をサポートしており、NPU のサポートも予定されています。

デベロッパーは Generative API を使用して、PyTorch LLM を LiteRT-LM と統合し、変換された PyTorch モデルを完全にオンデバイスで実行するアプリを作成できます。

詳細については、Generative Torch API の GitHub リポジトリをご覧ください。