LM Studio là một ứng dụng máy tính thân thiện nhưng mạnh mẽ để thử nghiệm và phát triển các mô hình AI cục bộ ngay trên máy tính của bạn. LM Studio hỗ trợ các mô hình Gemma ở cả định dạng GGUF (llama.cpp) và MLX để suy luận nhanh chóng và hiệu quả, hoàn toàn cục bộ trên máy của bạn.
Thiết lập
Phần này hướng dẫn bạn cách yêu cầu quyền truy cập vào mô hình, tải và cài đặt phần mềm LM Studio, cũng như tải một mô hình Gemma vào LM Studio.
Tải xuống và cài đặt LM Studio
Tải trình cài đặt cho macOS, Windows hoặc Linux xuống từ trang web LM Studio.
Sau khi hoàn tất quá trình tải xuống và chạy trình cài đặt, hãy mở ứng dụng LM Studio rồi nhấp vào các phần để làm quen với giao diện. Để tải mô hình xuống, hãy nhấn tổ hợp phím Cmd + Shift + M trên máy Mac hoặc Ctrl + Shift + M trên máy tính.
Tải các mô hình Gemma xuống để chạy cục bộ
Các mô hình Gemma rất phổ biến với người dùng LLM tại địa phương nhờ dung lượng bộ nhớ tối thiểu và khả năng mạnh mẽ, bao gồm tạo văn bản, tuân theo hướng dẫn, sử dụng công cụ và trong một số trường hợp là hiểu hình ảnh. Khám phá các mô hình do nhân viên chọn trong ứng dụng hoặc tại https://lmstudio.ai/models và tìm các mô hình Gemma phù hợp với máy của bạn. Bạn cũng có thể tìm kiếm và tải các mô hình Gemma xuống trong ứng dụng LM Studio hoặc bằng cách sử dụng CLI lms (tìm hiểu thêm).
Sử dụng trình tải mô hình xuống trong ứng dụng của LM Studio
- Mở ứng dụng LM Studio rồi nhấn tổ hợp phím ⌘ + Shift + M trên máy Mac hoặc Ctrl + Shift + M trên máy tính để tìm kiếm mô hình bất kỳ.
- Tìm kiếm "Gemma"
- Chọn một kết quả mà bạn thấy thú vị và LM Studio sẽ đề xuất biến thể phù hợp cho phần cứng của bạn.
- Nhấp vào Tải xuống. Sau khi tải xong, hãy tải mô hình để sử dụng trong một cuộc trò chuyện mới.
Nâng cao: Sử dụng tệp mô hình Gemma GGUF đã chuyển đổi của riêng bạn
Nếu đã tự chuyển đổi một mô hình Gemma sang GGUF, bạn có thể sử dụng CLI lms của LM Studio để tải mô hình của mình vào LM Studio.
- Sử dụng:
lms import <path/to/model.gguf>
- LM Studio sẽ tự động phát hiện mô hình và mô hình đó sẽ xuất hiện trong ứng dụng ở mục "My Models" (Mô hình của tôi).
- Điều chỉnh độ dài ngữ cảnh và chế độ cài đặt phần cứng nếu cần.
Nếu lms import không hoạt động tự động, bạn vẫn có thể nhập mô hình vào LM Studio theo cách thủ công. Đọc thêm về cấu trúc thư mục mô hình của LM Studio tại phần "Nhập mô hình".
Sau khi mô hình tải xong (như thanh tiến trình cho biết), bạn có thể bắt đầu trò chuyện trong LM Studio!
Phân phát mô hình thông qua máy chủ của LM Studio
Phục vụ thông qua GUI của LM Studio
Trong ứng dụng LM Studio, hãy chuyển đến thẻ Nhà phát triển rồi nhấn Cmd/Ctrl + L để mở trình tải mô hình. Tại đây, bạn có thể xem danh sách các mô hình đã tải xuống và chọn một mô hình để tải. Theo mặc định, LM Studio sẽ chọn các thông số tải giúp tối ưu hoá hiệu suất mô hình trên phần cứng của bạn.
Phân phát thông qua giao diện dòng lệnh của LM Studio
Nếu bạn muốn làm việc trong thiết bị đầu cuối, hãy sử dụng CLI của LM Studio để tương tác với các mô hình của bạn. Xem danh sách các lệnh tại "lms".
Trước tiên, hãy tải một mô hình Gemma mà bạn đã tải xuống bằng cách chạy:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Giờ thì bạn đã sẵn sàng! Sử dụng các API REST của LM Studio để sử dụng các mô hình Gemma theo phương thức lập trình từ mã của riêng bạn.
Tìm hiểu thêm về cách thực hiện việc này tại https://lmstudio.ai/docs/developer.
Phụ lục
Lấy một mô hình từ Hugging Face
Trước tiên, hãy bật LM Studio trong phần Local Apps Settings (Cài đặt ứng dụng cục bộ) trên Hugging Face.
Trên thẻ mô hình, hãy nhấp vào trình đơn thả xuống "Sử dụng mô hình này" rồi chọn LM Studio. Thao tác này sẽ chạy mô hình trực tiếp trong LM Studio nếu bạn đã có mô hình này hoặc cho bạn thấy lựa chọn tải xuống nếu bạn chưa có.