Gemma ile Ollama

Gemma gibi üretken yapay zeka (AI) modellerini çalıştırmak, doğru donanım olmadan zor olabilir. llama.cpp ve Ollama gibi açık kaynak çerçeveler, Gemma sürümlerini daha az bilgi işlem kaynağıyla çalıştırmanıza olanak tanıyan önceden yapılandırılmış bir çalışma ortamı oluşturarak bu işlemi kolaylaştırır. Aslında, llama.cpp ve Ollama'yı kullanarak Gemma sürümlerini grafik işleme birimi (GPU) olmayan bir dizüstü bilgisayarda veya başka bir küçük bilgisayar cihazında çalıştırabilirsiniz.

Gemma modellerini daha az işlem kaynağıyla çalıştırmak için llama.cpp ve Ollama çerçeveleri, GPT Tarafından Oluşturulan Birleştirilmiş Biçim (GGUF) model dosya biçimindeki modellerin kümelenmiş sürümlerini kullanır. Bu kesirli modeller, istekleri daha küçük ve daha az hassas veriler kullanarak işlemek için değiştirilir. İstekleri işlemek için kesirli modellerde daha az hassas veriler kullanmak genellikle model çıktısının kalitesini düşürür ancak işlem kaynağı maliyetlerini de düşürür.

Bu kılavuzda, metin yanıtları oluşturmak için Gemma'yı çalıştırmak üzere Ollama'yı nasıl ayarlayacağınız ve kullanacağınız açıklanmaktadır.

Kurulum

Bu bölümde, Ollama'da model erişimi isteme, yazılım yükleme ve Gemma modelini yapılandırma gibi isteklere yanıt vermek için Ollama'yı nasıl ayarlayacağınız ve bir Gemma model örneğini nasıl hazırlayacağınız açıklanmaktadır.

Gemma modellerine erişme

Gemma modelleriyle çalışmadan önce Kaggle üzerinden erişim isteğinde bulunduğunuzdan ve Gemma kullanım şartlarını incelediğinizden emin olun.

Install Ollama

Gemma'yı Ollama ile kullanabilmek için Ollama yazılımını bilgisayarınıza indirip yüklemeniz gerekir.

Ollama'yı indirip yüklemek için:

  1. İndirme sayfasına gidin: https://ollama.com/download
  2. İşletim sisteminizi seçin, İndir düğmesini tıklayın veya indirme sayfasındaki talimatları uygulayın.
  3. Yükleyiciyi çalıştırarak uygulamayı yükleyin.
    • Windows: Yükleyici *.exe dosyasını çalıştırın ve talimatları uygulayın.
    • Mac: Zip paketini açın ve Ollama uygulama klasörünü Uygulamalar dizininize taşıyın.
    • Linux: bash komut dosyası yükleyicisindeki talimatları uygulayın.

  4. Bir terminal penceresi açıp aşağıdaki komutu girerek Ollama'nın yüklü olduğunu doğrulayın:

    ollama --version

Şuna benzer bir yanıt görürsünüz: ollama version is #.#.##. Bu sonucu almazsanız Ollama yürütülebilir dosyasının işletim sistemi yolunuza eklendiğinden emin olun.

Ollama'da Gemma'yı yapılandırma

Ollama yükleme paketi varsayılan olarak herhangi bir model içermez. pull komutunu kullanarak bir model indirebilirsiniz.

Ollama'da Gemma'yı yapılandırmak için:

  1. Bir terminal penceresi açıp aşağıdaki komutu girerek varsayılan Gemma 2 varyantını indirip yapılandırın:

    ollama pull gemma2

  2. İndirme işlemini tamamladıktan sonra aşağıdaki komutu kullanarak modelin kullanılabilir olduğunu onaylayabilirsiniz:

    ollama list

Ollama, varsayılan olarak 9 milyar parametre, 4 bitlik kesirli (Q4_0) Gemma model varyantını indirir. Parametre boyutu belirterek Gemma modelinin diğer boyutlarını da indirip kullanabilirsiniz.

Modeller <model_name>:<tag> olarak belirtilir. Gemma 2, 2 milyar parametre modeli için gemma2:2b değerini girin. 27 milyar parametre modeli için gemma2:27b yazın. Gemma 2 ve Gemma dahil olmak üzere mevcut etiketleri Ollama web sitesinde bulabilirsiniz.

Yanıt oluşturma

Ollama'ya bir Gemma modeli yüklemeyi tamamladığınızda, Ollama'nın komut satırı arayüzünü kullanarak run komutunu kullanarak hemen yanıt oluşturabilirsiniz. Ollama, modele erişmek için bir web hizmeti de yapılandırır. Bu hizmeti curl komutunu kullanarak test edebilirsiniz.

Yanıtı komut satırından oluşturmak için:

  • Terminal penceresinde aşağıdaki komutu girin:

    ollama run gemma2 "roses are red"

Ollama yerel web hizmetini kullanarak yanıt oluşturmak için:

  • Terminal penceresinde aşağıdaki komutu girin:

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma2",\
  "prompt":"roses are red"\
}'

Ayarlanmış Gemma modelleri

Ollama, hemen kullanıma hazır, GGUF biçiminde kesikli hale getirilmiş ve kaydedilmiş bir dizi resmi Gemma model varyantı sağlar. GGUF biçimine dönüştürerek kendi ayarlanmış Gemma modellerinizi Ollama ile kullanabilirsiniz. Ollama, ayarlanmış modelleri Model Dosyası biçiminden GGUF'ye dönüştürmek için bazı işlevler içerir. Ayarlanmış modelinizi GGUF'ye dönüştürme hakkında daha fazla bilgi için Ollama README dosyasını inceleyin.

Sonraki adımlar

Gemma'yı Ollama ile çalıştırdıktan sonra Gemma'nın üretken yapay zeka özellikleriyle denemeler yapmaya ve çözümler oluşturmaya başlayabilirsiniz. Ollama'nın komut satırı arayüzü, komut dosyası çözümleri oluşturmak için yararlı olabilir. Ollama yerel web hizmeti arayüzü, deneysel ve düşük hacimli kullanım uygulamaları oluşturmak için yararlı olabilir.