LM Studio — это удобное и в то же время мощное настольное приложение для экспериментов и разработки локальных моделей ИИ непосредственно на вашем компьютере. LM Studio поддерживает модели Gemma как в формате GGUF (llama.cpp), так и в формате MLX для быстрого и эффективного вывода результатов, полностью локально на вашем компьютере.
Настраивать
В этом разделе вы найдете инструкции по запросу доступа к модели, загрузке и установке программного обеспечения LM Studio, а также загрузке модели Gemma в LM Studio.
Скачайте и установите LM Studio.
Загрузите установочный файл для macOS, Windows или Linux с веб-сайта LM Studio .
После завершения загрузки и запуска установщика откройте приложение LM Studio и понаблюдайте за интерфейсом, чтобы ознакомиться с его особенностями. Для загрузки моделей нажмите Cmd + Shift + M на Mac или Ctrl + Shift + M на ПК.
Загрузите модели Gemma для локального запуска.
Модели Gemma пользуются большой популярностью среди местных пользователей LLM благодаря минимальному объему используемой памяти и мощным возможностям, включая генерацию текста, следование инструкциям, использование инструментов и, в некоторых случаях, распознавание изображений. Изучите выбранные сотрудниками модели в приложении или на сайте https://lmstudio.ai/models и найдите модели Gemma, подходящие для вашего компьютера. Вы также можете искать и загружать модели Gemma из приложения LM Studio или с помощью интерфейса командной строки lms ( подробнее ).
Использование встроенного в LM Studio загрузчика моделей
- Откройте приложение LM Studio и найдите любую модель, нажав ⌘ + Shift + M на Mac или Ctrl + Shift + M на ПК.
- Найдите "Джемму"
- Выберите результат, который покажется вам интересным, и LM Studio предложит подходящий вариант для вашего оборудования.
- Нажмите «Скачать» . После завершения загрузки загрузите модель, чтобы использовать её в новом чате.
Расширенные возможности: Используйте собственный преобразованный файл модели Gemma в формате GGUF.
Если вы самостоятельно преобразовали модель Gemma в формат GGUF, вы можете использовать CLI lms в LM Studio для загрузки вашей модели в LM Studio.
- Использовать:
lms import <path/to/model.gguf>
- LM Studio автоматически обнаружит модель, и она отобразится в приложении в разделе «Мои модели».
- При необходимости отрегулируйте длительность контекста и настройки оборудования.
Если автоматический lms import в LM Studio не работает, вы все равно можете импортировать модели вручную. Подробнее о структуре каталогов моделей в LM Studio читайте в разделе « Импорт моделей ».
После завершения загрузки модели (о чем свидетельствует индикатор выполнения) вы можете начать общаться в LM Studio!
Разместите модель на сервере LM Studio.
Обслуживание через графический интерфейс LM Studio.
В приложении LM Studio перейдите на вкладку «Разработчик», затем нажмите Cmd / Ctrl + L, чтобы открыть загрузчик моделей. Здесь вы можете просмотреть список загруженных моделей и выбрать одну для загрузки. По умолчанию LM Studio выберет параметры загрузки, оптимизирующие производительность модели на вашем оборудовании.
Запуск через интерфейс командной строки LM Studio.
Если вы предпочитаете работать в терминале, используйте интерфейс командной строки LM Studio для взаимодействия с вашими моделями. Список команд можно найти по адресу " lms ".
Сначала загрузите скачанную модель Gemma, выполнив команду:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Теперь вы готовы! Используйте REST API LM Studio для программного применения моделей Gemma из собственного кода.
Подробнее о том, как это сделать, можно узнать здесь : https://lmstudio.ai/docs/developer .
Приложение
Получение модели от Hugging Face
Сначала включите LM Studio в настройках локальных приложений в Hugging Face.
На карточке модели щелкните раскрывающийся список «Использовать эту модель» и выберите LM Studio. Это запустит модель непосредственно в LM Studio, если она у вас уже установлена, или покажет вариант загрузки, если у вас ее нет.