Gemma mit Ollama ausführen

Das Ausführen generativer KI-Modelle wie Gemma kann ohne die richtige Hardware eine Herausforderung sein. Open-Source-Frameworks wie llama.cpp und Ollama erleichtern dies, indem sie eine vorkonfigurierte Laufzeitumgebung einrichten, mit der Sie Versionen von Gemma mit weniger Rechen ressourcen ausführen können. Mit llama.cpp und Ollama können Sie Versionen von Gemma sogar auf einem Laptop oder einem anderen kleinen Computergerät ohne Grafikprozessor (GPU) ausführen.

Um Gemma-Modelle mit weniger Rechenressourcen auszuführen, verwenden die Frameworks llama.cpp und Ollama quantisierte Versionen der Modelle im Modelldateiformat Georgi Gerganov Unified Format (GGUF). Diese quantisierten Modelle werden so geändert, dass Anfragen mit kleineren, weniger präzisen Daten verarbeitet werden. Wenn weniger präzise Daten in quantisierten Modellen zur Verarbeitung von Anfragen verwendet werden, sinkt in der Regel die Qualität der Modellausgabe, aber auch die Kosten für Rechenressourcen.

In dieser Anleitung wird beschrieben, wie Sie Ollama einrichten und verwenden, um mit Gemma Textantworten zu generieren.

Einrichtung

In diesem Abschnitt wird beschrieben, wie Sie Ollama einrichten und eine Gemma-Modellinstanz vorbereiten, um auf Anfragen zu antworten. Dazu gehören das Anfordern des Modellzugriffs, die Installation von Software und die Konfiguration eines Gemma-Modells in Ollama.

Ollama installieren

Bevor Sie Gemma mit Ollama verwenden können, müssen Sie die Ollama-Software auf Ihr Computergerät herunterladen und installieren.

So laden Sie Ollama herunter und installieren es:

  1. Rufen Sie die Downloadseite auf: https://ollama.com/download
  2. Wählen Sie Ihr Betriebssystem aus, klicken Sie auf die Schaltfläche Download oder folgen Sie der Anleitung auf der Downloadseite.
  3. Installieren Sie die Anwendung, indem Sie das Installationsprogramm ausführen.
    • Windows:Führen Sie die Installationsdatei *.exe aus und folgen Sie der Anleitung.
    • Mac:Entpacken Sie das ZIP-Paket und verschieben Sie den Anwendungsordner Ollama in Ihr Verzeichnis Programme.
    • Linux:Folgen Sie der Anleitung im Bash-Skript-Installationsprogramm.

  4. Bestätigen Sie, dass Ollama installiert ist, indem Sie ein Terminalfenster öffnen und den folgenden Befehl eingeben:

    ollama --version

Die Antwort sollte so aussehen: ollama version is #.#.##. Wenn Sie dieses Ergebnis nicht erhalten, prüfen Sie, ob die ausführbare Datei von Ollama dem Pfad Ihres Betriebssystems hinzugefügt wurde.

Gemma in Ollama konfigurieren

Das Ollama-Installationspaket enthält standardmäßig keine Modelle. Sie laden ein Modell mit dem Befehl pull herunter.

So konfigurieren Sie Gemma in Ollama:

  1. Laden Sie die Standardvariante von Gemma 4 herunter und konfigurieren Sie sie, indem Sie ein Terminalfenster öffnen und den folgenden Befehl eingeben:

    ollama pull gemma4

  2. Nach Abschluss des Downloads können Sie mit dem folgenden Befehl bestätigen, dass das Modell verfügbar ist:

    ollama list

Modelle werden als <model_name>:<tag> angegeben. Für Gemma 4 gibt es vier Größen: E2B, E4B, 26B und 31B Parameter:

  • E2B-Parameter gemma4:e2b
  • E4B-Parameter gemma4:e4b
  • 26B-Parameter gemma4:26b
  • 31B-Parameter gemma4:31b

Die verfügbaren Tags finden Sie auf der Ollama-Website, darunter Gemma 4, Gemma 3n, Gemma 3, Gemma 2 und Gemma.

Antworten generieren

Nachdem Sie ein Gemma-Modell in Ollama installiert haben, können Sie mit dem Befehl run der Befehlszeile von Ollama sofort Antworten generieren. Ollama konfiguriert auch einen Webdienst für den Zugriff auf das Modell, den Sie mit dem Befehl curl testen können.

So generieren Sie eine Antwort über die Befehlszeile:

  • Geben Sie in einem Terminalfenster den folgenden Befehl ein:

    ollama run gemma4 "roses are red"

  • Fügen Sie den Pfad zu Ihrem Bild ein, um eine visuelle Eingabe zu verwenden:

    ollama run gemma4 "caption this image /Users/$USER/Desktop/surprise.png"

So generieren Sie eine Antwort mit dem lokalen Webdienst von Ollama:

  • Geben Sie in einem Terminalfenster den folgenden Befehl ein:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"roses are red"\
}'

  • Fügen Sie eine Liste von base64-codierten Bildern ein, um eine visuelle Eingabe zu verwenden:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"caption this image",\
      "images":[...]\
}'

Abgestimmte Gemma-Modelle

Ollama bietet eine Reihe offizieller Gemma-Modellvarianten zur sofortigen Verwendung, die quantisiert und im GGUF-Format gespeichert sind. Sie können Ihre eigenen abgestimmten Gemma-Modelle mit Ollama verwenden, indem Sie sie in das GGUF-Format konvertieren. Ollama enthält einige Funktionen zum Konvertieren abgestimmter Modelle aus einem Modelfile-Format in GGUF. Weitere Informationen zum Konvertieren Ihres abgestimmten Modells in GGUF finden Sie in der Ollama README.

Nächste Schritte

Sobald Sie Gemma mit Ollama ausführen, können Sie mit den generativen KI-Funktionen von Gemma experimentieren und Lösungen entwickeln. Die Befehlszeile für Ollama kann nützlich sein, um Skriptlösungen zu erstellen. Die lokale Webdienstoberfläche von Ollama kann nützlich sein, um Anwendungen für experimentelle und geringe Nutzung zu erstellen.