AI Edge Torch Generative API は、Transformer ベースの PyTorch モデルを TF Lite 形式に変換するためのモバイル用に最適化されたライブラリです。これにより、TF Lite と MediaPipe を使用してデバイス上の画像とテキスト生成用に大規模言語モデル（LLM）を変換できます。現在、AI Edge Torch Generative API は CPU のみで、GPU と NPU のサポートが計画されています。
モバイルアプリ デベロッパーは、Edge Generative API を使用して PyTorch LLM を MediaPipe LLM Inference API と統合し、変換された PyTorch モデルを完全にデバイス上で実行するアプリを作成できます。
詳細については、Generative Torch API の GitHub リポジトリをご覧ください。
