このページは Cloud Translation API によって翻訳されました。

Android 向け LLM 推論ガイド

LLM Inference API を使用すると、Android アプリの大規模言語モデル（LLM）を完全にデバイス上で実行でき、テキストの生成、自然言語形式での情報の取得、ドキュメントの要約など、さまざまなタスクを実行できます。このタスクには、複数のテキストからテキストの大規模言語モデルの組み込みサポートが用意されているため、最新のオンデバイス生成 AI モデルを Android アプリに適用できます。

このタスクは Gemma 2B をサポートしています。Gemma 2B は、Gemini モデルの作成に使用されたのと同じ研究とテクノロジーから構築された、軽量で最先端のオープンモデルファミリーの一部です。また、Phi-2、Falcon-RW-1B、StableLM-3B の外部モデルと、AI Edge を介してエクスポートされたすべてのモデルをサポートしています。

このタスクの機能、モデル、構成オプションの詳細については、概要をご覧ください。

サンプルコード

このガイドでは、Android の基本的なテキスト生成アプリの例を紹介します。アプリは、独自の Android アプリの出発点として使用できます。または、既存のアプリを変更するときにアプリを参照できます。サンプルコードは GitHub でホストされています。

コードをダウンロードする

次の手順では、git コマンドラインツールを使用してサンプルコードのローカルコピーを作成する方法を示します。

サンプルコードをダウンロードするには:

次のコマンドを使用して、git リポジトリのクローンを作成します。
```
git clone https://github.com/google-ai-edge/mediapipe-samples
```
必要に応じて、スパースチェックアウトを使用するように Git インスタンスを構成して、LLM Inference API サンプルアプリのファイルのみを取得します。
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/llm_inference/android
```

サンプルコードのローカルバージョンを作成したら、Android Studio にプロジェクトをインポートしてアプリを実行できます。手順については、Android の設定ガイドをご覧ください。

セットアップ

このセクションでは、LLM Inference API を使用するように開発環境とコードプロジェクトを設定するための主な手順について説明します。プラットフォームのバージョン要件など、MediaPipe タスクを使用するための開発環境の設定に関する一般的な情報については、Android の設定ガイドをご覧ください。

依存関係

LLM Inference API は com.google.mediapipe:tasks-genai ライブラリを使用します。この依存関係を Android アプリの build.gradle ファイルに追加します。

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.14'
}

モデル

MediaPipe LLM Inference API には、このタスクと互換性のあるトレーニング済みのテキストからテキストへの言語モデルが必要です。モデルをダウンロードしたら、必要な依存関係をインストールして、モデルを Android デバイスに push します。Gemma 以外のモデルを使用している場合は、MediaPipe と互換性のある形式にモデルを変換する必要があります。

LLM Inference API で利用可能なトレーニング済みモデルの詳細については、タスクの概要のモデルセクションをご覧ください。

モデルのダウンロード

LLM Inference API を初期化する前に、サポートされているモデルのいずれかをダウンロードし、ファイルをプロジェクトディレクトリに保存します。

Gemma 2B: Gemini モデルの作成に使用されたのと同じ研究とテクノロジーから構築された、軽量で最先端のオープンモデルのファミリーの一部です。質問応答、要約、推論など、さまざまなテキスト生成タスクに適しています。
Phi-2: 27 億パラメータの Transformer モデル。質問応答、チャット、コード形式に最適です。
Falcon-RW-1B: RefinedWeb の 3,500 億トークンでトレーニングされた 10 億のパラメータがある因果デコーダのみのモデル。
StableLM-3B: 1 兆個の多様な英語データセットとコードデータセットで事前トレーニングされた 30 億個のパラメータデコーダのみの言語モデル。

また、AI Edge Troch を介してマッピングおよびエクスポートされたモデルを使用することもできます。

Gemma 2B を使用することをおすすめします。Gemma 2B は Kaggle モデルで利用でき、LLM Inference API とすでに互換性がある形式になっています。別の LLM を使用する場合は、MediaPipe に対応した形式にモデルを変換する必要があります。Gemma 2B の詳細については、Gemma のサイトをご覧ください。使用可能な他のモデルの詳細については、タスクの概要のモデルのセクションをご覧ください。

モデルを MediaPipe 形式に変換する

ネイティブモデル変換

外部 LLM（Phi-2、Falcon、StableLM）または Kaggle 以外の Gemma バージョンを使用している場合は、Google の変換スクリプトを使用して、MediaPipe との互換性を持つようにモデルをフォーマットします。

モデル変換プロセスには、MediaPipe PyPI パッケージが必要です。変換スクリプトは、0.10.11 以降、すべての MediaPipe パッケージで利用できます。

次のように依存関係をインストールしてインポートします。

$ python3 -m pip install mediapipe

genai.converter ライブラリを使用してモデルを変換します。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

LoRA モデルを変換するには、ConversionConfig でベースモデルオプションと追加の LoRA オプションを指定する必要があります。API は GPU を使用した LoRA 推論のみをサポートしているため、バックエンドを 'gpu' に設定する必要があります。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

コンバータは 2 つの TFLite フラットバッファファイルを出力します。1 つはベースモデル用、もう 1 つは LoRA モデル用です。

パラメータ	説明	許容値
`input_ckpt`	`model.safetensors` または `pytorch.bin` ファイルのパス。モデルの SafeTensors の形式が複数のファイルにシャーディングされる場合があるので注意してください（例: `model-00001-of-00003.safetensors`、`model-00001-of-00003.safetensors`）。ファイルパターン（`model*.safetensors` など）を指定できます。	PATH
`ckpt_format`	モデルファイル形式。	{"safetensors", "pytorch"}
`model_type`	変換される LLM。	{"PHI_2"、"FALCON_RW_1B"、"STABLELM_4E1T_3B"、"GEMMA_2B"}
`backend`	モデルの実行に使用されるプロセッサ（デリゲート）。	{"cpu", "gpu"}
`output_dir`	レイヤごとのウェイトファイルをホストする出力ディレクトリのパス。	PATH
`output_tflite_file`	出力ファイルのパス。（「model_cpu.bin」、「model_gpu.bin」など）。このファイルは LLM Inference API にのみ対応しており、一般的な「tflite」ファイルとして使用することはできません。	PATH
`vocab_model_file`	`tokenizer.json` ファイルと `tokenizer_config.json` ファイルを格納するディレクトリのパス。Gemma の場合は、単一の `tokenizer.model` ファイルにカーソルを合わせます。	PATH
`lora_ckpt`	LoRA アダプタの重みを格納する SafeTensorBoard の LoRA ckpt ファイルのパス。	PATH
`lora_rank`	LoRA ckpt のランクを表す整数。lora の重みを変換するために必要です。指定されていない場合、コンバータは LoRA の重みがないと見なします。注: LoRA をサポートしているのは GPU バックエンドのみです。	Integer
`lora_output_tflite_file`	LoRA 重みの出力 tflite ファイル名。	PATH

AI Edge モデル変換

AI Edge を介して TFLite モデルにマッピングされた LLM を使用している場合は、バンドルスクリプトを使用してタスクバンドルを作成します。バンドルプロセスではマッピングされたモデルに追加のメタデータ（トークナイザパラメータなど）が含まれていました

モデルのバンドルプロセスには、MediaPipe PyPI パッケージが必要です。変換スクリプトは、0.10.14 以降、すべての MediaPipe パッケージで利用できます。

次のように依存関係をインストールしてインポートします。

$ python3 -m pip install mediapipe

genai.bundler ライブラリを使用してモデルをバンドルします。

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

パラメータ	説明	許容値
`tflite_model`	AI Edge からエクスポートされた TFLite モデルのパス。	PATH
`tokenizer_model`	SentencePiece トークナイザモデルへのパス。	PATH
`start_token`	モデル固有の開始トークン。開始トークンは、指定されたトークナイザモデルに存在する必要があります。	STRING
`stop_tokens`	モデル固有のストップトークン。提供されたトークナイザモデルにストップトークンが存在する必要があります。	リスト [文字列]
`output_filename`	出力タスクバンドルファイルの名前。	PATH

モデルをデバイスにプッシュする

output_path フォルダの内容を Android デバイスにプッシュします。

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.bin

タスクを作成する

MediaPipe LLM Inference API は、createFromOptions() 関数を使用してタスクを設定します。createFromOptions() 関数は、構成オプションの値を受け入れます。構成オプションの詳細については、構成オプションをご覧ください。

次のコードは、基本的な構成オプションを使用してタスクを初期化します。

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPATH('/data/local/.../')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

構成オプション

Android アプリを設定するには、次の構成オプションを使用します。

オプション名	説明	値の範囲	デフォルト値
`modelPath`	プロジェクトディレクトリ内でモデルが保存されているパス。	PATH	なし
`maxTokens`	モデルが処理するトークン（入力トークン + 出力トークン）の最大数。	Integer	512
`topK`	生成の各ステップでモデルが考慮するトークンの数。予測を最も確率が高い上位 k 個のトークンに制限します。`topK` を設定する場合は、`randomSeed` の値も設定する必要があります。	Integer	40
`temperature`	生成時に導入されたランダム性の量。温度が高いほど、生成されるテキストの創造性が高まり、温度が低いほど、生成を予測しやすくなります。`temperature` を設定する場合は、`randomSeed` の値も設定する必要があります。	浮動小数点数	0.8
`randomSeed`	テキスト生成時に使用されるランダムシード。	Integer	0
`loraPath`	デバイス上のローカルの LoRA モデルの絶対パス。注: これは GPU モデルにのみ互換性があります。	PATH	なし
`resultListener`	結果を非同期で受け取るように結果リスナーを設定します。非同期生成方法を使用する場合にのみ適用されます。	なし	なし
`errorListener`	オプションのエラーリスナーを設定します。	なし	なし

データの準備

LLM Inference API は、次の入力を受け入れます。

prompt（文字列）: 質問またはプロンプト。

val inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."

タスクを実行する

generateResponse() メソッドを使用して、前のセクションで指定した入力テキスト（inputPrompt）に対するテキストレスポンスを生成します。これにより、単一のレスポンスが生成されます。

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

レスポンスをストリーミングするには、generateResponseAsync() メソッドを使用します。

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

結果を処理して表示する

LLM Inference API は、生成されたレスポンステキストを含む LlmInferenceResult を返します。

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

LoRA モデルのカスタマイズ

Mediapipe LLM 推論 API は、大規模言語モデルの低ランク適応（LoRA）をサポートするように構成できます。ファインチューニングされた LoRA モデルを利用することで、デベロッパーは費用対効果に優れたトレーニングプロセスを通じて LLM の動作をカスタマイズできます。

LLM Inference API の LoRA サポートは、GPU バックエンドの Gemma-2B モデルと Phi-2 モデルで機能します。LoRA の重みはアテンションレイヤにのみ適用されます。この初期実装は将来の開発のための試験運用版 API として機能し、今後のアップデートでより多くのモデルとさまざまな種類のレイヤをサポートする予定です。

LoRA モデルを準備する

HuggingFace の手順に沿って、サポートされているモデルタイプ（Gemma-2B または Phi-2）を使用して、独自のデータセットでファインチューニングされた LoRA モデルをトレーニングします。Gemma-2B モデルと Phi-2 モデルは、どちらも HuggingFace で Safetensors 形式で入手できます。LLM 推論 API はアテンションレイヤでのみ LoRA をサポートするため、次のように LoraConfig を作成する際にアテンションレイヤのみを指定します。

# For Gemma-2B
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

テスト用に、LLM Inference API に適合するファインチューニングされた LoRA モデルが一般公開され、HuggingFace から入手できます。たとえば、Gemma-2B の場合は monsterapi/gemma-2b-lora-maths-orca-200k、Phi-2 の場合は lole25/phi-2-sft-ultrachat-lora になります。

準備したデータセットでトレーニングしてモデルを保存すると、ファインチューニングされた LoRA モデルの重みを含む adapter_model.safetensors ファイルが得られます。セーフテンソルファイルは、モデル変換で使用される LoRA チェックポイントです。

次のステップでは、MediaPipe Python パッケージを使用して、モデルの重みを TensorFlow Lite フラットバッファに変換する必要があります。ConversionConfig では、ベースモデルオプションと追加の LoRA オプションを指定する必要があります。この API は GPU を使用した LoRA 推論のみをサポートするため、バックエンドを 'gpu' に設定する必要があります。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)