LLM 推論ガイド

LLM Inference API を使用すると、大規模言語モデル（LLM）を完全に実行できます。 など、幅広いタスクを実行できます。 テキストの生成、自然言語形式での情報の取得、 ドキュメントの要約などを行いますこのタスクには、複数の Google Cloud サービス テキストからテキストへの大規模言語モデルにより、最新のオンデバイスで 生成 AI モデルをアプリやプロダクトに実装できます。

<ph type="x-smartling-placeholder"></ph> お試しください。arrow_forward

このタスクは、Gemma 2B および 7B 同じモデルを使って構築された軽量で最先端のオープンモデルのファミリーです。 Gemini の開発に使用された研究と技術 構築できますまた、次の外部モデルもサポートしています。 Phi-2 Falcon-RW-1B、 StableLM-3B。

ネイティブでサポートされているモデルに加えて、ユーザーは他の Google の AI エッジを使用したモデル （例: PyTorch モデルのマッピングをご覧ください）。 これにより、マッピングされたモデルをマルチ署名にエクスポートできます。 トークナイザ パラメータとバンドルされている TensorFlow Lite モデルを使用すると、 タスクバンドルを作成します。

使ってみる

以下の実装ガイドのいずれかに沿って、このタスクの使用を開始する ターゲット プラットフォームです。これらのプラットフォーム固有のガイドでは、基本的な このタスクの実装について、利用可能なモデルを使用したコード例と、 推奨される構成オプションは次のとおりです。

• ウェブ:

  • ガイド
  • コード 例

• Android:

  • ガイド
  • コード 例

• iOS

  • ガイド
  • コード 例

タスクの詳細

このセクションでは、機能、入力、出力、構成について説明します。 オプションを選択できます。

機能

LLM Inference API の主な機能は次のとおりです。

1. テキストからテキストの生成 - 入力テキスト プロンプトに基づいてテキストを生成します。
2. LLM の選択 - 複数のモデルを適用して、アプリをカスタマイズする 特定するユースケースに適していますまた、再トレーニングして、カスタマイズした重みを モデルです。
3. LoRA のサポート - LoRA モデルによる LLM 機能の拡張とカスタマイズ すべてのデータセットでトレーニングするか 事前構築済みの LoRA を使用して 簡単に入手できます（ネイティブ モデルのみ）。

構成オプション

このタスクには、次の構成オプションがあります。

モデル

LLM Inference API には、分割可能なテキストからテキストへの変換をサポートする機能が組み込まれている ブラウザやモバイル デバイスで実行できるように最適化された言語モデルです。これらの 軽量のモデルをダウンロードして、完全にデバイス上で推論を実行できます。

LLM Inference API を初期化する前に、サポートされているモデルのいずれかをダウンロードして、 プロジェクト ディレクトリ内にファイルを保存します。

Gemma 2B

Gemma 2B は、 同じ研究と研究に基づいて構築された軽量で最先端のオープンモデルであり、 モデルの作成に使用されたテクノロジーです。Gemini「 20 億のパラメータとオープン ウェイトが含まれています。このモデルは、トレーニング データ、 テキスト生成タスクにも使用できます。たとえば、質問応答、要約、 学習します。

<ph type="x-smartling-placeholder"></ph> Gemma 2B をダウンロードする

Gemma 2B モデルには 4 つのバリエーションがあります。

• gemma-2b-it-cpu-int4: CPU との互換性がある Gemma 2B 4 ビットモデル。
• gemma-2b-it-cpu-int8: CPU との互換性がある Gemma 2B 8 ビットモデル。
• gemma-2b-it-gpu-int4: GPU 互換の Gemma 2B 4 ビットモデル。
• gemma-2b-it-gpu-int8: GPU 互換の Gemma 2B 8 ビットモデル。

アプリに追加する前に、モデルをチューニングして新しい重みを追加することもできます。対象 Gemma のチューニングとカスタマイズの詳細については、Gemma のチューニングをご覧ください。 Kaggle モデルから Gemma をダウンロードしたら、 モデルはすでに MediaPipe で使用するのに適した形式になっています。

Hugging から Gemma 2B をダウンロードした場合: 顔認証、 MediaPipe に適した形式に変換しますLLM Inference API 次のファイルをダウンロードして変換する必要があります。

• model-00001-of-00002.safetensors
• model-00002-of-00002.safetensors
• tokenizer.json
• tokenizer_config.json

Gemma 7B

Gemma 7B は、7B の大規模な Gemma モデルです。 オープン ウェイトです。このモデルはさまざまなテキストに対してより強力になる 質問応答、要約、推論などの生成タスクが含まれます。 Gemma 7B はウェブでのみサポートされています。

<ph type="x-smartling-placeholder"></ph> Gemma 7B をダウンロードする

Gemma 7B モデルには 1 つのバリエーションがあります。

• gemma-1.1-7b-it-gpu-int8: GPU 互換の Gemma 7B 8 ビットモデル。

Hugging Face から Gemma 7B をダウンロードした場合: MediaPipe に適した形式にモデルを変換する必要があります。「 LLM Inference API では、次のファイルをダウンロードして変換する必要があります。

• model-00001-of-00004.safetensors
• model-00002-of-00004.safetensors
• model-00003-of-00004.safetensors
• model-00004-of-00004.safetensors
• tokenizer.json
• tokenizer_config.json

Falcon 1B

Falcon-1B は、350B でトレーニングされた 10 億パラメータの因果的デコーダのみのモデルです。 トークン RefinedWeb:

<ph type="x-smartling-placeholder"></ph> Falcon 1B をダウンロード

LLM Inference API では、次のファイルをダウンロードして保存する必要があります 使用します。

• tokenizer.json
• tokenizer_config.json
• pytorch_model.bin

Falcon モデルファイルをダウンロードすると、モデルを MediaPipe 形式を使用します。モデルを MediaPipe に変換する手順を実施します。 形式。

StableLM 3B

StableLM-3B は、30 億のパラメータ デコーダのみの言語モデルで、 4 エポックの多様な英語とコード データセットの 1 兆トークン。

<ph type="x-smartling-placeholder"></ph> StableLM 3B をダウンロードする

LLM Inference API では、次のファイルをダウンロードして保存する必要があります 使用します。

• tokenizer.json
• tokenizer_config.json
• model.safetensors

StableLM モデルファイルをダウンロードしたら、モデルを変換できる MediaPipe 形式に変換されます。モデルを MediaPipe に変換する手順を実施します。 形式。

Phi-2

Phi-2 は、パラメータ数 27 億の Transformer モデルです。トレーニングには、さまざまな NLP 合成テキストとフィルタされたウェブサイト。このモデルはプロンプトに最も適している 質問と回答、チャット、コードの形式を使用します。

<ph type="x-smartling-placeholder"></ph> Phi-2 をダウンロード

LLM Inference API では、次のファイルをダウンロードして保存する必要があります 使用します。

• tokenizer.json
• tokenizer_config.json
• model-00001-of-00002.safetensors
• model-00002-of-00002.safetensors

Phi-2 モデルファイルをダウンロードしたら、モデルを MediaPipe 形式を使用します。モデルを MediaPipe に変換する手順を実施します。 形式。

AI Edge でエクスポートされたモデル

AI Edge は、ユーザーがマッピングしたモデルを変換できる Google プロダクト マルチシグネチャ TensorFlow Lite モデルに組み込んでいます。マッピングとロギングについて詳しくは、 詳細を確認するには、AI Edge Torch GitHub ページ。

モデルを TFLite 形式でエクスポートしたら、 MediaPipe 形式に変換されます詳細については、次をご覧ください。 モデルを MediaPipe 形式に変換します。

モデルを MediaPipe 形式に変換する

ネイティブ モデルの変換

外部の LLM（Phi-2、Falcon、StableLM）または Kaggle 以外の言語を使用している場合 作成したら、Google の変換スクリプトを使用して、 MediaPipe との互換性があります。

モデル変換プロセスには MediaPipe PyPI パッケージが必要です。コンバージョン スクリプトは、0.10.11 以降、すべての MediaPipe パッケージで使用できます。

次のように依存関係をインストールしてインポートします。

$ python3 -m pip install mediapipe

genai.converter ライブラリを使用してモデルを変換します。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

LoRA モデルを変換するには、ConversionConfig でベースモデルを指定する必要があります。 追加の LoRA オプションを選択できます。API のみを使用するため、 GPU を使用した LoRA 推論をサポートしている場合、バックエンドを 'gpu' に設定する必要があります。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

コンバータは 2 つの TFLite フラットバッファ ファイル（ベースモデル用）を出力します。 LoRA モデル用です

AI Edge モデル変換

AI Edge を介して TFLite モデルにマッピングされた LLM を使用している場合は、Google の Task Bundle を作成するためのバンドル スクリプト。バンドルプロセスでは 追加のメタデータ（トークナイザ パラメータ）が必要です。 エンドツーエンドの推論を実行できます

モデルのバンドル プロセスには、MediaPipe PyPI パッケージが必要です。コンバージョン スクリプトは、0.10.14 以降、すべての MediaPipe パッケージで使用できます。

次のように依存関係をインストールしてインポートします。

$ python3 -m pip install mediapipe

genai.bundler ライブラリを使用してモデルをバンドルします。

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

LoRA のカスタマイズ

LLM Inference API の LoRA サポートは、Gemma-2B モデルと Phi-2 モデルで機能します。 アテンション レイヤにのみ適用される LoRA の重みを持つ GPU バックエンド。この 初期実装は将来の開発のための試験運用版 API として機能する 今後、さらに多くのモデルとさまざまな種類のレイヤをサポートする予定です。 あります。

LoRA モデルを準備する

HuggingFace の手順に沿って、サポートされているモデルタイプ（Gemma-2B または Phi-2）を使用して独自のデータセットでファインチューニングされた LoRA モデルをトレーニングします。Gemma-2B モデルと Phi-2 モデルはどちらも、セーフテンソル形式で HuggingFace で利用できます。LLM 推論 API はアテンション レイヤの LoRA のみをサポートするため、次のように LoraConfig の作成時にアテンション レイヤのみを指定します。

# For Gemma-2B
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

テスト用に、HuggingFace で利用可能な LLM Inference API に適合するファインチューニング済みの LoRA モデルが一般公開されています。たとえば、Gemma-2B の場合は monsterapi/gemma-2b-lora-maths-orca-200k、Phi-2 の場合は lole25/phi-2-sft-ultrachat-lora になります。

準備したデータセットでトレーニングしてモデルを保存したら、ファインチューニングされた LoRA モデルの重みを含む adapter_model.safetensors ファイルを取得します。Safetensors ファイルは、モデル変換で使用される LoRA チェックポイントです。

次のステップとして、MediaPipe Python Package を使用してモデルの重みを TensorFlow Lite Flatbuffer に変換する必要があります。ConversionConfig では、ベースモデル オプションと追加の LoRA オプションを指定する必要があります。API は GPU を使用した LoRA 推論のみをサポートしているため、バックエンドを 'gpu' に設定する必要があります。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

コンバータは 2 つの TFLite フラットバッファ ファイル（ベースモデル用）を出力します。 LoRA モデル用です

LoRA モデルの推論

ウェブ、Android、iOS の LLM Inference API が更新され、LoRA モデル推論がサポートされるようになりました。ウェブは動的 LoRA をサポートしており、実行時に異なる LoRA モデルを切り替えることができます。Android と iOS は静的 LoRA をサポートしています。これは、タスクの存続期間中に同じ LoRA 重みを使用します。

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

LoRA を使用して LLM 推論を実行するには、ベースモデルと同じ generateResponse() メソッドまたは generateResponseAsync() メソッドを使用します。