生成 PyTorch モデルを変換する

生成 AI のエッジ トーチ API Transformer ベースの PyTorch モデルを変換するためのモバイル デバイス向けライブラリ LiteRT 形式を使用して、大規模言語モデル(LLM)を LiteRT と MediaPipe によるデバイス上の画像とテキスト生成。現在、AI Edge Torch Generative API は CPU のみで、GPU と NPU のサポートが予定されています。

モバイルアプリのデベロッパーは Edge Generative API を使用して PyTorch LLM を統合可能 MediaPipe LLM Inference と API を使用して、 変換された PyTorch モデルを完全にデバイス上で実行できます。

詳しくは、Generative Torch API(GitHub)をご覧ください。 リポジトリをご覧ください