Gemma を使用したオンデバイス生成

MediaPipe LLM Inference API を使用すると、Gemma モデルをデバイス上で完全に実行できます。LLM Inference API は大規模言語モデルのラッパーとして機能し、情報の取得、メールの下書き、ドキュメントの要約などの一般的なテキストからテキストの生成タスクのためにデバイス上で Gemma モデルを実行できます。

デバイス上のモデルを評価してカスタマイズするためのウェブベースのアプリケーションである MediaPipe Studio で LLM Inference API をお試しください。

LLM Inference API は、次のプラットフォームで利用できます。

詳しくは、MediaPipe LLM 推論のドキュメントをご覧ください。