LM Studio 是一款友好而强大的桌面应用，可让您直接在计算机上使用本地 AI 模型进行实验和开发。 LM Studio 支持 GGUF (llama.cpp) 和 MLX 格式的 Gemma 模型，可在您的机器上完全本地化地进行快速高效的推理。
设置
本部分将引导您完成以下操作：请求模型访问权限、下载并安装 LM Studio 软件，以及将 Gemma 模型加载到 LM Studio 中。
下载并安装 LM Studio
从 LM Studio 网站下载适用于 macOS、Windows 或 Linux 的安装程序。
完成下载并运行安装程序后，打开 LM Studio 应用，然后随意点击，熟悉界面。如需下载模型，请在 Mac 上按 Cmd + Shift + M，或在 PC 上按 Ctrl + Shift + M。
下载 Gemma 模型以在本地运行
Gemma 模型因其内存占用量极小且功能强大（包括文本生成、指令遵循、工具使用，以及在某些情况下进行图片理解）而深受本地 LLM 用户的欢迎。在应用内或在 https://lmstudio.ai/models 中探索精选模型，找到适合您机器的 Gemma 模型。您还可以从 LM Studio 应用中搜索和下载 Gemma 模型，也可以使用 lms CLI（了解详情）。
使用 LM Studio 的应用内模型下载器
- 打开 LM Studio 应用，然后在 Mac 上按 ⌘ + Shift + M 或在 PC 上按 Ctrl + Shift + M 搜索任意模型。
- 搜索“Gemma”
- 选择您感兴趣的结果，LM Studio 会建议适合您硬件的变体。
- 点击下载。下载完成后，加载模型以在新对话中使用。
高级：使用您自己的转换后的 GGUF Gemma 模型文件
如果您之前自行将 Gemma 模型转换为 GGUF，可以使用 LM Studio 的 CLI lms 将模型加载到 LM Studio 中。
- 使用：
lms import <path/to/model.gguf>
- LM Studio 会自动检测模型，并将其填充到应用中的“我的模型”下方。
- 根据需要调整上下文长度和硬件设置。
如果 lms import 无法自动运行，您仍然可以手动将模型导入到 LM Studio 中。如需详细了解 LM Studio 的模型目录结构，请参阅“导入模型”。
模型完成加载后（如进度条所示），您就可以在 LM Studio 中开始聊天了！
通过 LM Studio 的服务器部署模型
通过 LM Studio 的 GUI 进行服务
在 LM Studio 应用中，前往“开发者”标签页，然后按 Cmd/Ctrl + L 打开模型加载器。您可以在此处查看已下载的模型列表，并选择一个模型进行加载。LM Studio 默认会选择可优化硬件上模型性能的加载参数。
通过 LM Studio 的 CLI 提供服务
如果您更喜欢在终端中操作，可以使用 LM Studio 的 CLI 与模型互动。如需查看命令列表，请参阅“lms”。
首先，运行以下命令来加载您下载的 Gemma 模型：
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
现在，您已准备就绪！使用 LM Studio 的 REST API 以编程方式从您自己的代码中使用 Gemma 模型。
如需详细了解如何执行此操作，请访问 https://lmstudio.ai/docs/developer。
附录
从 Hugging Face 获取模型
首先，在 Hugging Face 中，前往本地应用设置，启用 LM Studio。
在模型卡片上，点击“使用此模型”下拉菜单，然后选择 LM Studio。 如果您已安装 LM Studio，系统会直接在其中运行模型；如果您未安装，系统会显示下载选项。