透過 Ollama 執行 Gemma

如果沒有合適的硬體，執行 Gemma 等生成式人工智慧 (AI) 模型可能會很困難。llama.cpp 和 Ollama 等開放原始碼架構可設定預先設定的執行階段環境，讓您以較少的運算資源執行 Gemma 版本，讓這項作業更輕鬆。事實上，您可以使用 llama.cpp 和 Ollama，在筆記型電腦或其他小型電腦裝置上執行 Gemma 版本，不必使用圖形處理器 (GPU)。

為了以較少的運算資源執行 Gemma 模型，lamba.cpp 和 Ollama 架構會使用 Georgi Gerganov 統一格式 (GGUF) 模型檔案格式的量化模型版本。這些量化模型經過修改後，可使用較小且精確度較低的資料處理要求。在量化模型中使用較不精確的資料來處理要求，通常會降低模型輸出的品質，但好處是可以降低運算資源成本。

本指南說明如何設定及使用 Ollama 執行 Gemma，產生文字回應。

設定

本節說明如何設定 Ollama，並準備 Gemma 模型執行個體來回應要求，包括要求模型存取權、安裝軟體，以及在 Ollama 中設定 Gemma 模型。

使用 Gemma 模型

使用 Gemma 模型前，請務必透過 Kaggle 申請存取權，並詳閱 Gemma 使用條款。

安裝 Ollama

您必須先在電腦裝置上下載並安裝 Ollama 軟體，才能使用 Gemma 與 Ollama。

如要下載及安裝 Ollama，請按照下列步驟操作：

  1. 前往下載頁面：https://ollama.com/download
  2. 選取作業系統，然後點選「下載」按鈕，或按照下載頁面上的操作說明進行。
  3. 執行安裝程式來安裝應用程式。
    • Windows：執行 *.exe 安裝程式檔案，並按照指示操作。
    • Mac：解壓縮 ZIP 檔案，然後將 Ollama 應用程式資料夾移至「Applications」目錄。
    • Linux：請按照 bash 指令碼安裝程式中的指示操作。

  4. 開啟終端機視窗並輸入下列指令，確認 Ollama 已安裝：

    ollama --version

畫面上會顯示類似 ollama version is #.#.## 的回應。如果您沒有看到這個結果，請確認 Ollama 可執行檔已新增至作業系統路徑。

在 Ollama 中設定 Gemma

根據預設，Ollama 安裝套件不包含任何模型。您可以使用 pull 指令下載模型。

如要在 Ollama 中設定 Gemma，請按照下列步驟操作：

  1. 開啟終端機視窗，然後輸入下列指令，即可下載及設定預設的 Gemma 3 變化版本：

    ollama pull gemma3

  2. 下載完成後，您可以使用下列指令確認模型是否可用：

    ollama list

根據預設，Ollama 會下載 40 億個參數、4 位元量化 (Q4_0) Gemma 模型變化版本。你也可以指定參數大小，下載並使用其他大小的 Gemma 模型。

模型會指定為 <model_name>:<tag>。Gemma 3 有四種大小：1B、4B、12B 和 27B 參數：

  • 1B 參數 gemma3:1b
  • 4B 參數 gemma3:4b
  • 12B 參數 gemma3:12b
  • 27B 參數 gemma3:27b

您可以在 Ollama 網站上找到可用的標記，包括 Gemma 3、Gemma 2 和 Gemma。

產生回應

在 Ollama 中完成 Gemma 模型的安裝作業後，您可以立即使用 Ollama 的指令列介面 run 指令產生回應。Ollama 也會設定用於存取模型的網路服務，您可以使用 curl 指令進行測試。

如何透過指令列產生回應：

  • 在終端機視窗中輸入以下指令：

    ollama run gemma3 "roses are red"

  • 如要使用視覺輸入功能，請附上圖片路徑：

    ollama run gemma3 "caption this image /Users/$USER/Desktop/surprise.png"

如要使用 Ollama 本機網路服務產生回應，請按照下列步驟操作：

  • 在終端機視窗中輸入以下指令：

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma3",\
  "prompt":"roses are red"\
}'

  • 加入 Base64 編碼圖片清單，以便使用視覺輸入內容：

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma3",\
  "prompt":"caption this image",\
  "images":[...]\
}'

調整過的 Gemma 模型

Ollama 提供一組可立即使用的官方 Gemma 模型變化版本，這些模型經過量化並儲存為 GGUF 格式。您可以將自己的經過調整的 Gemma 模型轉換為 GGUF 格式，以便搭配 Ollama 使用。Ollama 包含一些函式，可將經過調校的模型從 Modelfile 格式轉換為 GGUF。如要進一步瞭解如何將經過調整的模型轉換為 GGUF，請參閱 Ollama 的 README。

後續步驟

在 Gemma 搭配 Ollama 運作後，您就可以開始實驗並運用 Gemma 的生成式 AI 功能建構解決方案。Ollama 的指令列介面可用於建構指令碼解決方案。Ollama 本機網頁服務介面可用於建構實驗性和低使用量應用程式。