Gemma ile Ollama

Gemma gibi üretken yapay zeka (AI) modellerini çalıştırmak, doğru donanım olmadan zor olabilir. llama.cpp ve Ollama gibi açık kaynak çerçeveler, Gemma sürümlerini daha az bilgi işlem kaynağıyla çalıştırmanıza olanak tanıyan önceden yapılandırılmış bir çalışma ortamı oluşturarak bu işlemi kolaylaştırır. Aslında, llama.cpp ve Ollama'yı kullanarak Gemma sürümlerini grafik işleme birimi (GPU) olmayan bir dizüstü bilgisayarda veya başka bir küçük bilgisayar cihazında çalıştırabilirsiniz.

Gemma modellerini daha az işlem kaynağıyla çalıştırmak için llama.cpp ve Ollama çerçeveleri, Georgi Gerganov Birleşik Biçimi (GGUF) model dosya biçimindeki modellerin kümelenmiş sürümlerini kullanır. Bu kesirli modeller, daha küçük ve daha az hassas veriler kullanarak istekleri işlemek için değiştirilir. İstekleri işlemek için kesirli modellerde daha az hassas veriler kullanmak genellikle model çıktısının kalitesini düşürür ancak işlem kaynağı maliyetlerini de düşürür.

Bu kılavuzda, metin yanıtları oluşturmak için Gemma'yı çalıştırmak üzere Ollama'yı nasıl ayarlayacağınız ve kullanacağınız açıklanmaktadır.

Kurulum

Bu bölümde, Ollama'yı nasıl ayarlayacağınız ve model erişimi isteme, yazılım yükleme ve Ollama'da bir Gemma modelini yapılandırma gibi isteklere yanıt vermek için bir Gemma model örneğini nasıl hazırlayacağınız açıklanmaktadır.

Gemma modellerine erişme

Gemma modelleriyle çalışmadan önce Kaggle üzerinden erişim isteğinde bulunduğunuzdan ve Gemma kullanım şartlarını incelediğinizden emin olun.

Install Ollama

Gemma'yı Ollama ile kullanabilmek için Ollama yazılımını bilgisayarınıza indirip yüklemeniz gerekir.

Ollama'yı indirip yüklemek için:

  1. İndirme sayfasına gidin: https://ollama.com/download
  2. İşletim sisteminizi seçin, İndir düğmesini tıklayın veya indirme sayfasındaki talimatları uygulayın.
  3. Yükleyiciyi çalıştırarak uygulamayı yükleyin.
    • Windows: Yükleyici *.exe dosyasını çalıştırın ve talimatları uygulayın.
    • Mac: Zip paketini açın ve Ollama uygulama klasörünü Uygulamalar dizininize taşıyın.
    • Linux: Bash komut dosyası yükleyicisindeki talimatları uygulayın.

  4. Bir terminal penceresi açıp aşağıdaki komutu girerek Ollama'nın yüklü olduğunu doğrulayın:

    ollama --version

Şuna benzer bir yanıt görürsünüz: ollama version is #.#.##. Bu sonucu almazsanız Ollama yürütülebilir dosyasının işletim sistemi yolunuza eklendiğinden emin olun.

Ollama'da Gemma'yı yapılandırma

Ollama kurulum paketi varsayılan olarak herhangi bir model içermez. pull komutunu kullanarak bir model indirebilirsiniz.

Ollama'da Gemma'yı yapılandırmak için:

  1. Bir terminal penceresi açıp aşağıdaki komutu girerek varsayılan Gemma 3 varyantını indirip yapılandırın:

    ollama pull gemma3

  2. İndirme işlemini tamamladıktan sonra aşağıdaki komutu kullanarak modelin kullanılabilir olduğunu onaylayabilirsiniz:

    ollama list

Ollama, varsayılan olarak 4 milyar parametre, 4 bitlik kesirli (Q4_0) Gemma model varyantını indirir. Parametre boyutu belirterek Gemma modelinin diğer boyutlarını da indirip kullanabilirsiniz.

Modeller <model_name>:<tag> olarak belirtilir. Gemma 3 için dört boyut: 1B, 4B, 12B ve 27B parametreleri:

  • 1B Parametreleri gemma3:1b
  • 4B Parametreleri gemma3:4b
  • 12B Parametreleri gemma3:12b
  • 27B Parametreleri gemma3:27b

Ollama web sitesinde Gemma 3, Gemma 2 ve Gemma dahil olmak üzere mevcut etiketleri bulabilirsiniz.

Yanıt oluşturma

Ollama'ya bir Gemma modelini yüklemeyi tamamladığınızda, Ollama'nın komut satırı arayüzünü kullanarak run komutuyla hemen yanıt oluşturabilirsiniz. Ollama, modele erişmek için bir web hizmeti de yapılandırır. Bu hizmeti curl komutunu kullanarak test edebilirsiniz.

Yanıtı komut satırından oluşturmak için:

  • Terminal penceresinde aşağıdaki komutu girin:

    ollama run gemma3 "roses are red"

  • Görsel giriş kullanmak için resminizin yolunu ekleyin:

    ollama run gemma3 "caption this image /Users/$USER/Desktop/surprise.png"

Ollama yerel web hizmetini kullanarak yanıt oluşturmak için:

  • Terminal penceresinde aşağıdaki komutu girin:

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma3",\
  "prompt":"roses are red"\
}'

  • Görsel giriş kullanmak için Base64 kodlu resimlerin listesini ekleyin:

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma3",\
  "prompt":"caption this image",\
  "images":[...]\
}'

Ayarlanmış Gemma modelleri

Ollama, hemen kullanıma hazır olan ve GGUF biçiminde kesikli hale getirilip kaydedilen bir dizi resmi Gemma model varyantı sağlar. Ollama ile kendi ayarlanmış Gemma modellerinizi GGUF biçimine dönüştürerek kullanabilirsiniz. Ollama, ayarlanmış modelleri Model dosyası biçiminden GGUF'ye dönüştürmek için bazı işlevler içerir. Ayarlanmış modelinizi GGUF'ye dönüştürme hakkında daha fazla bilgi için Ollama README dosyasını inceleyin.

Sonraki adımlar

Gemma'yı Ollama ile çalıştırdıktan sonra Gemma'nın üretken yapay zeka özellikleriyle denemeler yapmaya ve çözümler oluşturmaya başlayabilirsiniz. Ollama'nın komut satırı arayüzü, komut dosyası çözümleri oluşturmak için yararlı olabilir. Ollama yerel web hizmeti arayüzü, deneysel ve düşük hacimli kullanım uygulamaları oluşturmak için yararlı olabilir.