LM Studio で Gemma を実行する

LM Studio は、ローカル AI モデルをコンピュータ上で直接テストおよび開発するための、使いやすく強力なデスクトップ アプリケーションです。LM Studio は、高速で効率的な推論のために、GGUF(llama.cpp)形式と MLX 形式の両方で Gemma モデルをサポートしています。推論はマシン上で完全にローカルに行われます。

セットアップ

このセクションでは、モデルへのアクセスをリクエストし、LM Studio ソフトウェアをダウンロードしてインストールし、Gemma モデルを LM Studio に読み込む手順について説明します。

LM Studio をダウンロードしてインストールする

LM Studio ウェブサイトから macOS、Windows、Linux 用のインストーラをダウンロードします。

ダウンロードを完了してインストーラを実行したら、LM Studio アプリケーションを開き、インターフェースを操作して慣れてください。モデルをダウンロードするには、Mac では Cmd+Shift+M キー、PC では Ctrl+Shift+M キーを押します。

Gemma モデルをダウンロードしてローカルで実行する

Gemma モデルは、メモリ フットプリントが最小限で、テキスト生成、指示の追跡、ツールの使用、場合によっては画像理解などの強力な機能を備えているため、ローカル LLM ユーザーに非常に人気があります。アプリ内または https://lmstudio.ai/models でスタッフが選んだモデルを調べて、自分のマシンに合った Gemma モデルを見つけます。LM Studio アプリ内から、または lms CLI を使用して Gemma モデルを検索してダウンロードすることもできます(詳細)。

LM Studio のアプリ内モデル ダウンローダーを使用する

  1. LM Studio アプリを開き、Mac では ⌘+Shift+M、PC では Ctrl+Shift+M を押してモデルを検索します。
  2. 「Gemma」を検索
  3. 興味深い結果を選択すると、LM Studio がハードウェアに適したバリエーションを提案します。
  4. [ダウンロード] をクリックします。ダウンロードが完了したら、モデルを読み込んで新しいチャットで使用します。

上級: 変換した独自の GGUF Gemma モデル ファイルを使用する

Gemma モデルを自分で GGUF に変換した場合は、LM Studio の CLI lms を使用して、モデルを LM Studio に読み込むことができます。

  1. 使用:
lms import <path/to/model.gguf>
  1. LM Studio はモデルを自動的に検出し、[My Models] の下に表示します。
  2. 必要に応じて、コンテキストの長さとハードウェアの設定を調整します。

lms import が自動的に機能しない場合でも、モデルを LM Studio に手動でインポートできます。LM Studio のモデル ディレクトリ構造の詳細については、「モデルをインポートする」をご覧ください。

モデルの読み込みが完了したら(進行状況バーで確認できます)、LM Studio でチャットを開始できます。

LM Studio のサーバーを介してモデルをサービングする

LM Studio の GUI を介して提供する

LM Studio アプリケーションで、[Developer] タブに移動し、Cmd / Ctrl + L キーを押してモデルローダーを開きます。ダウンロードしたモデルのリストを表示し、読み込むモデルを選択できます。LM Studio は、ハードウェアでモデルのパフォーマンスを最適化する読み込みパラメータをデフォルトで選択します。

LM Studio の CLI を介して提供する

ターミナルで作業する場合は、LM Studio の CLI を使用してモデルを操作します。コマンドのリストについては、「lms」をご覧ください。

まず、次のコマンドを実行して、ダウンロードした Gemma モデルを読み込みます。

lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.

Next, turn on LM Studio's local API server by running:

```bash
lms server start

これで準備は完了です。LM Studio の REST API を使用して、独自のコードから Gemma モデルをプログラムで使用します。

詳しくは、https://lmstudio.ai/docs/developer をご覧ください。

付録

Hugging Face からモデルを取得する

まず、Hugging Face の [ローカルアプリの設定] で LM Studio を有効にします。

モデルカードで、[このモデルを使用] プルダウンをクリックして [LM Studio] を選択します。LM Studio がインストールされている場合は、モデルが直接実行されます。インストールされていない場合は、ダウンロード オプションが表示されます。