LM Studio, yerel yapay zeka modelleriyle doğrudan bilgisayarınızda denemeler yapıp geliştirme işlemleri gerçekleştirmenize olanak tanıyan, kullanıcı dostu ancak güçlü bir masaüstü uygulamasıdır. LM Studio, makinenizde tamamen yerel olarak hızlı ve verimli çıkarım için Gemma modellerini hem GGUF (llama.cpp) hem de MLX biçimlerinde destekler.
Kurulum
Bu bölümde, model erişimi isteğinde bulunma, LM Studio yazılımını indirme ve yükleme ile LM Studio'ya Gemma modeli yükleme konusunda size yol gösterilir.
LM Studio'yu indirme ve yükleme
macOS, Windows veya Linux için yükleyiciyi LM Studio web sitesinden indirin.
İndirme işlemini tamamlayıp yükleyiciyi çalıştırdıktan sonra LM Studio uygulamasını açın ve arayüzü tanımak için tıklayarak inceleyin. Modelleri indirmek için Mac'te Cmd + Üst Karakter + M, PC'de ise Ctrl + Üst Karakter + M tuşlarına basın.
Yerel olarak çalıştırmak için Gemma modellerini indirme
Gemma modelleri, minimal bellek ayak izi ve metin oluşturma, talimatları takip etme, araç kullanma ve bazı durumlarda görüntü anlama gibi güçlü özellikleri sayesinde yerel LLM kullanıcıları arasında oldukça popülerdir. Uygulamada veya https://lmstudio.ai/models adresinde editörün seçtiği modelleri keşfedin ve makinenize uygun Gemma modellerini bulun. Ayrıca LM Studio uygulamasından veya lms KSA'yı kullanarak Gemma modellerini arayıp indirebilirsiniz (daha fazla bilgi).
LM Studio'nun uygulama içi model indiricisini kullanma
- LM Studio uygulamasını açın ve Mac'te ⌘ + Üst Karakter + M, PC'de ise Ctrl + Üst Karakter + M tuşlarına basarak istediğiniz modeli arayın.
- "Gemma"yı arayın.
- İlginç görünen bir sonuç seçin. LM Studio, donanımınız için uygun varyantı önerir.
- İndir'i tıklayın. İndirme işlemi tamamlandıktan sonra modeli yeni bir sohbette kullanmak için yükleyin.
Gelişmiş: Kendi dönüştürülmüş GGUF Gemma model dosyanızı kullanma
Bir Gemma modelini kendiniz GGUF'ye dönüştürdüyseniz modelinizi LM Studio'ya yüklemek için LM Studio'nun CLI'sını
lms kullanabilirsiniz.
- Kullanım:
lms import <path/to/model.gguf>
- LM Studio, modeli otomatik olarak algılar ve "Modellerim" bölümünde uygulamaya ekler.
- Bağlam uzunluğunu ve donanım ayarlarını gerektiği gibi düzenleyin.
lms import otomatik olarak çalışmazsa modelleri LM Studio'ya manuel olarak içe aktarabilirsiniz. LM Studio'nun model dizini yapısı hakkında daha fazla bilgiyi "Modelleri İçe Aktarma" bölümünde bulabilirsiniz.
Modelin yüklenmesi tamamlandıktan sonra (ilerleme çubuğuyla gösterilir) LM Studio'da sohbet etmeye başlayabilirsiniz.
LM Studio'nun sunucusu üzerinden modeli sunma
LM Studio'nun GUI'si üzerinden sunma
LM Studio uygulamasında Geliştirici sekmesine gidin ve Cmd / Ctrl + L tuşlarına basarak model yükleyiciyi açın. Burada, indirilen modellerin listesini görüntüleyebilir ve yüklenecek bir model seçebilirsiniz. LM Studio, donanımınızda model performansını optimize eden yükleme parametrelerini varsayılan olarak seçer.
LM Studio'nun KSA'sı üzerinden yayınlama
Terminalde çalışmayı tercih ediyorsanız modellerinizle etkileşim kurmak için LM Studio'nun CLI'sını kullanın. "lms" adresinde komutların listesini görebilirsiniz.
İlk olarak, aşağıdaki komutu çalıştırarak indirdiğiniz bir Gemma modelini yükleyin:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Artık kullanmaya hazırsınız. Gemma modellerini kendi kodunuzdan programatik olarak kullanmak için LM Studio'nun REST API'lerini kullanın.
Bu işlemi nasıl yapacağınız hakkında daha fazla bilgi edinin: https://lmstudio.ai/docs/developer.
Ek
Hugging Face'ten model alma
Öncelikle Hugging Face'te Local Apps Settings (Yerel Uygulamalar/Ayarlar) bölümünden LM Studio'yu etkinleştirin.
Model kartında "Bu modeli kullan" açılır listesini tıklayın ve LM Studio'yu seçin. Bu işlem, modeli doğrudan LM Studio'da çalıştırır (zaten varsa) veya yoksa indirme seçeneğini gösterir.