オンデバイス推論用に PyTorch 生成 AI モデルを変換する

LiteRT Torch Generative API は、変換ベースの PyTorch モデルを LiteRT/LiteRT-LM 形式で作成および変換するために設計された高性能ライブラリです。これにより、デベロッパーは生成 AI モデル、特に大規模言語モデル（LLM）をデバイス上のテキストと画像の生成にシームレスに簡単にデプロイできます。

Torch Generative API は、CPU と GPU の実行用のモデル変換をサポートしています。NPU のサポートは開発中です。Torch Generative API と LiteRT-LM を組み合わせることで、生成モデルを完全にデバイス上で実行する、プライバシー重視のレスポンシブ アプリケーションを構築できます。

詳細については、Generative Torch API の GitHub リポジトリをご覧ください。