LM Studio adalah aplikasi desktop yang mudah digunakan namun canggih untuk bereksperimen & mengembangkan model AI lokal langsung di komputer Anda. LM Studio mendukung model Gemma dalam format GGUF (llama.cpp) dan MLX untuk inferensi yang cepat dan efisien, sepenuhnya secara lokal di komputer Anda.
Penyiapan
Bagian ini memandu Anda meminta akses model, mendownload dan menginstal software LM Studio, serta memuat model Gemma ke LM Studio.
Mendownload dan Menginstal LM Studio
Download penginstal untuk macOS, Windows, atau Linux dari situs LM Studio.
Setelah menyelesaikan download dan menjalankan penginstal, buka aplikasi LM Studio dan klik untuk memahami antarmukanya. Untuk mendownload model, tekan Cmd + Shift + M di Mac, atau Ctrl + Shift + M di PC.
Mendownload model Gemma untuk dijalankan secara lokal
Model Gemma sangat populer di kalangan pengguna LLM lokal berkat jejak memori yang minimal dan kemampuan yang canggih, termasuk pembuatan teks, mengikuti petunjuk, penggunaan alat, dan dalam beberapa kasus, pemahaman gambar. Jelajahi model pilihan staf dalam aplikasi atau di https://lmstudio.ai/models dan temukan model Gemma yang sesuai dengan mesin Anda. Anda juga dapat menelusuri dan mendownload model Gemma dari dalam aplikasi LM Studio, atau dengan menggunakan lms CLI (pelajari lebih lanjut).
Menggunakan downloader model dalam aplikasi LM Studio
- Buka aplikasi LM Studio dan telusuri model apa pun dengan menekan ⌘ + Shift + M di Mac, atau Ctrl + Shift + M di PC.
- Telusuri "Gemma"
- Pilih hasil yang terlihat menarik dan LM Studio akan menyarankan varian yang sesuai untuk hardware Anda.
- Klik Download. Setelah download selesai, muat model untuk menggunakannya dalam percakapan baru.
Tingkat lanjut: Menggunakan file model Gemma GGUF yang dikonversi sendiri
Jika Anda telah mengonversi model Gemma ke GGUF sendiri, Anda dapat menggunakan CLI LM Studio
lms untuk memuat model ke LM Studio.
- Penggunaan:
lms import <path/to/model.gguf>
- LM Studio akan otomatis mendeteksi model dan model tersebut akan muncul di aplikasi di bagian "My Models".
- Sesuaikan panjang konteks dan setelan hardware sesuai kebutuhan.
Jika lms import tidak berfungsi secara otomatis, Anda masih dapat mengimpor model secara manual ke LM Studio. Baca selengkapnya tentang struktur direktori model LM Studio di "Mengimpor Model".
Setelah model selesai dimuat (seperti yang ditunjukkan oleh status progres), Anda dapat mulai melakukan percakapan di LM Studio.
Menayangkan model melalui server LM Studio
Menyajikan melalui GUI LM Studio
Di aplikasi LM Studio, buka tab Developer, lalu tekan Cmd / Ctrl + L untuk membuka pemuat model. Di sini, Anda dapat melihat daftar model yang didownload dan memilih salah satunya untuk dimuat. Secara default, LM Studio akan memilih parameter pemuatan yang mengoptimalkan performa model di hardware Anda.
Menyajikan melalui CLI LM Studio
Jika Anda lebih suka bekerja di terminal, gunakan CLI LM Studio untuk berinteraksi dengan model Anda. Lihat daftar perintah di "lms".
Pertama, muat model Gemma yang Anda download dengan menjalankan:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Sekarang Anda siap memulai! Gunakan REST API LM Studio untuk menggunakan model Gemma secara terprogram dari kode Anda sendiri.
Pelajari lebih lanjut cara melakukannya https://lmstudio.ai/docs/developer.
Lampiran
Mendapatkan model dari Hugging Face
Pertama, aktifkan LM Studio di bagian Local Apps Settings di Hugging Face.
Pada kartu model, klik drop-down "Use this model" dan pilih LM Studio. Tindakan ini akan menjalankan model langsung di LM Studio jika Anda sudah memilikinya, atau menampilkan opsi download jika Anda belum memilikinya.