LM Studio は、ローカル AI モデルをコンピュータ上で直接テストおよび開発するための、使いやすく強力なデスクトップ アプリケーションです。LM Studio は、高速で効率的な推論のために、GGUF(llama.cpp)形式と MLX 形式の両方で Gemma モデルをサポートしています。推論はマシン上で完全にローカルに行われます。
セットアップ
このセクションでは、モデルへのアクセスをリクエストし、LM Studio ソフトウェアをダウンロードしてインストールし、Gemma モデルを LM Studio に読み込む手順について説明します。
LM Studio をダウンロードしてインストールする
LM Studio ウェブサイトから macOS、Windows、Linux 用のインストーラをダウンロードします。
ダウンロードを完了してインストーラを実行したら、LM Studio アプリケーションを開き、インターフェースを操作して慣れてください。モデルをダウンロードするには、Mac では Cmd+Shift+M キー、PC では Ctrl+Shift+M キーを押します。
Gemma モデルをダウンロードしてローカルで実行する
Gemma モデルは、メモリ フットプリントが最小限で、テキスト生成、指示の追跡、ツールの使用、場合によっては画像理解などの強力な機能を備えているため、ローカル LLM ユーザーに非常に人気があります。アプリ内または https://lmstudio.ai/models でスタッフが選んだモデルを調べて、自分のマシンに合った Gemma モデルを見つけます。LM Studio アプリ内から、または lms CLI を使用して Gemma モデルを検索してダウンロードすることもできます(詳細)。
LM Studio のアプリ内モデル ダウンローダーを使用する
- LM Studio アプリを開き、Mac では ⌘+Shift+M、PC では Ctrl+Shift+M を押してモデルを検索します。
- 「Gemma」を検索
- 興味深い結果を選択すると、LM Studio がハードウェアに適したバリエーションを提案します。
- [ダウンロード] をクリックします。ダウンロードが完了したら、モデルを読み込んで新しいチャットで使用します。
上級: 変換した独自の GGUF Gemma モデル ファイルを使用する
Gemma モデルを自分で GGUF に変換した場合は、LM Studio の CLI lms を使用して、モデルを LM Studio に読み込むことができます。
- 使用:
lms import <path/to/model.gguf>
- LM Studio はモデルを自動的に検出し、[My Models] の下に表示します。
- 必要に応じて、コンテキストの長さとハードウェアの設定を調整します。
lms import が自動的に機能しない場合でも、モデルを LM Studio に手動でインポートできます。LM Studio のモデル ディレクトリ構造の詳細については、「モデルをインポートする」をご覧ください。
モデルの読み込みが完了したら(進行状況バーで確認できます)、LM Studio でチャットを開始できます。
LM Studio のサーバーを介してモデルをサービングする
LM Studio の GUI を介して提供する
LM Studio アプリケーションで、[Developer] タブに移動し、Cmd / Ctrl + L キーを押してモデルローダーを開きます。ダウンロードしたモデルのリストを表示し、読み込むモデルを選択できます。LM Studio は、ハードウェアでモデルのパフォーマンスを最適化する読み込みパラメータをデフォルトで選択します。
LM Studio の CLI を介して提供する
ターミナルで作業する場合は、LM Studio の CLI を使用してモデルを操作します。コマンドのリストについては、「lms」をご覧ください。
まず、次のコマンドを実行して、ダウンロードした Gemma モデルを読み込みます。
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
これで準備は完了です。LM Studio の REST API を使用して、独自のコードから Gemma モデルをプログラムで使用します。
詳しくは、https://lmstudio.ai/docs/developer をご覧ください。
付録
Hugging Face からモデルを取得する
まず、Hugging Face の [ローカルアプリの設定] で LM Studio を有効にします。
モデルカードで、[このモデルを使用] プルダウンをクリックして [LM Studio] を選択します。LM Studio がインストールされている場合は、モデルが直接実行されます。インストールされていない場合は、ダウンロード オプションが表示されます。