LM Studio는 컴퓨터에서 직접 로컬 AI 모델을 실험하고 개발할 수 있는 친근하면서도 강력한 데스크톱 애플리케이션입니다. LM Studio는 빠르고 효율적인 추론을 위해 GGUF (llama.cpp) 및 MLX 형식의 Gemma 모델을 지원하며, 이는 머신에서 완전히 로컬로 실행됩니다.
설정
이 섹션에서는 모델 액세스 권한을 요청하고, LM Studio 소프트웨어를 다운로드 및 설치하고, LM Studio에 Gemma 모델을 로드하는 방법을 안내합니다.
LM Studio 다운로드 및 설치
LM Studio 웹사이트에서 macOS, Windows 또는 Linux용 설치 프로그램을 다운로드합니다.
다운로드를 완료하고 설치 프로그램을 실행한 후 LM Studio 애플리케이션을 열고 인터페이스를 둘러보며 익숙해집니다. 모델을 다운로드하려면 Mac에서는 Cmd + Shift + M을 누르고 PC에서는 Ctrl + Shift + M을 누릅니다.
로컬에서 실행할 Gemma 모델 다운로드
Gemma 모델은 최소한의 메모리 사용 공간과 텍스트 생성, 지침 준수, 도구 사용, 경우에 따라 이미지 이해를 비롯한 강력한 기능 덕분에 로컬 LLM 사용자에게 매우 인기가 많습니다. 앱 또는 https://lmstudio.ai/models에서 직원 추천 모델을 살펴보고 내 머신에 맞는 Gemma 모델을 찾아보세요. LM Studio 앱 내에서 또는 lms CLI를 사용하여 Gemma 모델을 검색하고 다운로드할 수도 있습니다 (자세히 알아보기).
LM Studio의 인앱 모델 다운로더 사용
- LM Studio 앱을 열고 Mac에서는 ⌘ + Shift + M, PC에서는 Ctrl + Shift + M을 눌러 모델을 검색합니다.
- 'Gemma' 검색
- 관심 있는 결과를 선택하면 LM Studio에서 하드웨어에 적합한 변형을 제안합니다.
- 다운로드를 클릭합니다. 다운로드가 완료되면 모델을 로드하여 새 채팅에서 사용합니다.
고급: 변환된 자체 GGUF Gemma 모델 파일 사용
Gemma 모델을 직접 GGUF로 변환한 경우 LM Studio의 CLI lms를 사용하여 모델을 LM Studio에 로드할 수 있습니다.
- 사용:
lms import <path/to/model.gguf>
- LM Studio가 모델을 자동으로 감지하고 '내 모델' 아래의 애플리케이션에 채웁니다.
- 필요에 따라 컨텍스트 길이와 하드웨어 설정을 조정합니다.
lms import가 자동으로 작동하지 않더라도 LM Studio로 모델을 수동으로 가져올 수 있습니다. '모델 가져오기'에서 LM Studio의 모델 디렉터리 구조에 대해 자세히 알아보세요.
모델 로드가 완료되면 (진행률 표시줄에 표시됨) LM Studio에서 채팅을 시작할 수 있습니다.
LM Studio의 서버를 통해 모델 제공
LM Studio의 GUI를 통해 서빙
LM Studio 애플리케이션에서 개발자 탭으로 이동한 다음 Cmd/Ctrl + L을 눌러 모델 로더를 엽니다. 여기에서 다운로드된 모델 목록을 확인하고 로드할 모델을 선택할 수 있습니다. LM Studio는 기본적으로 하드웨어에서 모델 성능을 최적화하는 로드 매개변수를 선택합니다.
LM Studio의 CLI를 통해 제공
터미널에서 작업하는 것을 선호하는 경우 LM Studio의 CLI를 사용하여 모델과 상호작용하세요. 'lms'에서 명령어 목록을 확인하세요.
먼저 다음을 실행하여 다운로드한 Gemma 모델을 로드합니다.
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
이제 사용할 준비가 되었습니다. LM Studio의 REST API를 사용하여 자체 코드에서 Gemma 모델을 프로그래매틱 방식으로 사용하세요.
https://lmstudio.ai/docs/developer에서 방법을 자세히 알아보세요.
부록
Hugging Face에서 모델 가져오기
먼저 Hugging Face의 Local Apps Settings에서 LM Studio를 사용 설정합니다.
모델 카드에서 '이 모델 사용' 드롭다운을 클릭하고 LM Studio를 선택합니다. 모델이 이미 있는 경우 LM Studio에서 바로 실행되고, 없는 경우 다운로드 옵션이 표시됩니다.