Gemma ile Ollama

Gemma gibi üretken yapay zeka modellerini doğru donanım olmadan çalıştırmak zor olabilir. llama.cpp ve Ollama gibi açık kaynak çerçeveler, önceden yapılandırılmış bir çalışma zamanı ortamı oluşturarak bu süreci kolaylaştırır. Bu ortam, Gemma'nın daha az işlem kaynağıyla çalışan sürümlerini çalıştırmanıza olanak tanır. Hatta llama.cpp ve Ollama kullanarak Gemma'nın sürümlerini grafik işleme birimi (GPU) olmadan dizüstü bilgisayarda veya diğer küçük bilgi işlem cihazlarında çalıştırabilirsiniz.

Gemma modellerini daha az işlem kaynağıyla çalıştırmak için llama.cpp ve Ollama çerçeveleri, Georgi Gerganov Unified Format (GGUF) model dosya biçimindeki modellerin nicelendirilmiş sürümlerini kullanır. Bu nicelenmiş modeller, istekleri daha küçük ve daha az hassas veriler kullanarak işlemek üzere değiştirilir. İstekleri işlemek için nicelenmiş modellerde daha az hassas verilerin kullanılması, genellikle modellerin çıkış kalitesini düşürür ancak işlem kaynağı maliyetlerini de düşürür.

Bu kılavuzda, metin yanıtları oluşturmak için Gemma'yı çalıştırmak üzere Ollama'nın nasıl ayarlanacağı ve kullanılacağı açıklanmaktadır.

Kurulum

Bu bölümde, Ollama'nın nasıl ayarlanacağı ve istekleri yanıtlamak için Gemma modeli örneğinin nasıl hazırlanacağı (model erişimi isteğinde bulunma, yazılım yükleme ve Ollama'da Gemma modeli yapılandırma dahil) açıklanmaktadır.

Ollama'yı yükleme

Gemma'yı Ollama ile kullanabilmek için Ollama yazılımını bilgisayarınıza indirip yüklemeniz gerekir.

Ollama'yı indirip yüklemek için:

  1. İndirme sayfasına gidin: https://ollama.com/download
  2. İşletim sisteminizi seçin, İndir düğmesini tıklayın veya indirme sayfasındaki talimatları uygulayın.
  3. Yükleyiciyi çalıştırarak uygulamayı yükleyin.
    • Windows: Yükleyici *.exe dosyasını çalıştırın ve talimatları uygulayın.
    • Mac: Zip paketini açın ve Ollama uygulama klasörünü Uygulamalar dizininize taşıyın.
    • Linux: bash komut dosyası yükleyicisindeki talimatları uygulayın.

  4. Bir terminal penceresi açıp aşağıdaki komutu girerek Ollama'nın yüklendiğini onaylayın:

    ollama --version

Şuna benzer bir yanıt görmeniz gerekir: ollama version is #.#.##. Bu sonucu almazsanız Ollama yürütülebilir dosyasının işletim sisteminizin yoluna eklendiğinden emin olun.

Ollama'da Gemma'yı yapılandırma

Ollama yükleme paketinde varsayılan olarak herhangi bir model bulunmaz. pull komutunu kullanarak bir model indirirsiniz.

Ollama'da Gemma'yı yapılandırmak için:

  1. Bir terminal penceresi açıp aşağıdaki komutu girerek varsayılan Gemma 4 varyantını indirip yapılandırın:

    ollama pull gemma4

  2. İndirme işlemi tamamlandıktan sonra aşağıdaki komutla modelin kullanılabilir olduğunu onaylayabilirsiniz:

    ollama list

Modeller <model_name>:<tag> olarak belirtilir. Gemma 4 için dört boyut: E2B, E4B, 26B ve 31B parametreleri:

  • E2B Parametreleri gemma4:e2b
  • E4B Parametreleri gemma4:e4b
  • 26B A4B Parametreleri gemma4:26b
  • 31B Parametreleri gemma4:31b

Gemma 4, Gemma 3n, Gemma 3, Gemma 2 ve Gemma dahil olmak üzere kullanılabilir etiketleri Ollama web sitesinde bulabilirsiniz.

Yanıt oluşturma

Ollama'ya bir Gemma modeli yüklemeyi tamamladığınızda Ollama'nın komut satırı arayüzündeki run komutunu kullanarak yanıtlar oluşturmaya hemen başlayabilirsiniz. Ollama, modele erişmek için bir web hizmeti de yapılandırır. Bu hizmeti curl komutunu kullanarak test edebilirsiniz.

Komut satırından yanıt oluşturmak için:

  • Bir terminal penceresinde aşağıdaki komutu girin:

    ollama run gemma4 "roses are red"

  • Görsel giriş kullanmak için resminizin yolunu ekleyin:

    ollama run gemma4 "caption this image /Users/$USER/Desktop/surprise.png"

Ollama yerel web hizmetini kullanarak yanıt oluşturmak için:

  • Bir terminal penceresinde aşağıdaki komutu girin:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"roses are red"\
}'

  • Görsel giriş kullanmak için Base64 kodlu resimlerin listesini ekleyin:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"caption this image",\
      "images":[...]\
}'

Ayarlanmış Gemma modelleri

Ollama, hemen kullanılabilecek bir dizi resmi Gemma modeli varyantı sunar. Bu varyantlar, GGUF biçiminde nicelenir ve kaydedilir. Gemma modellerinizi GGUF biçimine dönüştürerek Ollama ile kullanabilirsiniz. Ollama, ayarlanmış modelleri Modelfile biçiminden GGUF'a dönüştürmek için bazı işlevler içerir. İnce ayarlı modelinizi GGUF'ye dönüştürme hakkında daha fazla bilgi için Ollama README'yi inceleyin.

Sonraki adımlar

Gemma'yı Ollama ile çalıştırdıktan sonra Gemma'nın üretken yapay zeka özellikleriyle denemeler yapmaya ve çözümler oluşturmaya başlayabilirsiniz. Ollama'nın komut satırı arayüzü, komut dosyası çözümleri oluşturmak için yararlı olabilir. Ollama yerel web hizmeti arayüzü, deneysel ve düşük hacimli kullanım uygulamaları oluşturmak için yararlı olabilir.