Запустите Джемму с Олламой

Запуск моделей генеративного искусственного интеллекта (ИИ), таких как Gemma, может быть сложной задачей без соответствующего оборудования. Фреймворки с открытым исходным кодом, такие как llama.cpp и Ollama, упрощают этот процесс, предоставляя предварительно настроенную среду выполнения, которая позволяет запускать версии Gemma с меньшими вычислительными ресурсами. Фактически, используя llama.cpp и Ollama, вы можете запускать версии Gemma на ноутбуке или другом небольшом вычислительном устройстве без графического процессора (GPU).

Для запуска моделей Gemma с меньшими вычислительными ресурсами фреймворки llama.cpp и Ollama используют квантованные версии моделей в формате файлов моделей Georgi Gerganov Unified Format (GGUF). Эти квантованные модели модифицированы для обработки запросов с использованием меньших по размеру и менее точных данных. Использование менее точных данных в квантованных моделях для обработки запросов обычно снижает качество выходных данных моделей, но при этом также снижает затраты вычислительных ресурсов.

В этом руководстве описано, как настроить и использовать Ollama для запуска Gemma с целью генерации текстовых ответов.

Настраивать

В этом разделе описывается, как настроить Ollama и подготовить экземпляр модели Gemma для обработки запросов, включая запрос доступа к модели, установку программного обеспечения и настройку модели Gemma в Ollama.

Установите Ollama

Прежде чем использовать Gemma с Ollama, необходимо загрузить и установить программное обеспечение Ollama на ваше вычислительное устройство.

Чтобы скачать и установить Ollama:

  1. Перейдите на страницу загрузки: https://ollama.com/download
  2. Выберите свою операционную систему, нажмите кнопку «Загрузить» или следуйте инструкциям на странице загрузки.
  3. Установите приложение, запустив установщик.
    • Windows: Запустите установочный файл *.exe и следуйте инструкциям.
    • Mac: Распакуйте ZIP-архив и переместите папку приложения Ollama в каталог «Приложения» .
    • Linux: Следуйте инструкциям в установщике bash-скриптов.

  4. Убедитесь, что Ollama установлена, открыв окно терминала и введя следующую команду:

    оллама --версия

Вы должны увидеть ответ, похожий на: ollama version is #.#.## . Если вы не получили такой результат, убедитесь, что исполняемый файл Ollama добавлен в путь вашей операционной системы.

Настройка Gemma в Ollama

В установочный пакет Ollama по умолчанию не входят никакие модели. Вы загружаете модель с помощью команды pull .

Чтобы настроить Gemma в Ollama:

  1. Загрузите и настройте стандартный вариант Gemma 4, открыв окно терминала и введя следующую команду:

    оллама тянет гемма4

  2. После завершения загрузки вы можете подтвердить доступность модели с помощью следующей команды:

    список олламы

Модели задаются в формате <model_name>:<tag> . Для Gemma 4 доступны четыре размера: параметры E2B, E4B, 26B и 31B:

  • Параметры E2B gemma4:e2b
  • Параметры E4B gemma4:e4b
  • 26B A4B Параметры gemma4:26b
  • Параметры 31B gemma4:31b

Доступные теги можно найти на сайте Ollama, включая Gemma 4 , Gemma 3n , Gemma 3 , Gemma 2 и Gemma .

Сгенерировать ответы

После завершения установки модели Gemma в Ollama вы можете немедленно получить ответы, используя команду run интерфейсе командной строки Ollama. Ollama также настраивает веб-сервис для доступа к модели, который вы можете протестировать с помощью команды curl .

Для получения ответа из командной строки:

  • В окне терминала введите следующую команду:

    ollama run gemma4 "roses are red"

  • Укажите путь к изображению, чтобы использовать визуальный ввод:

    ollama run gemma4 "caption this image /Users/$USER/Desktop/surprise.png"

Для генерации ответа с помощью локального веб-сервиса Ollama:

  • В окне терминала введите следующую команду:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"roses are red"\
}'

  • Укажите список изображений, закодированных в формате base64, для использования в качестве визуального ввода:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"caption this image",\
      "images":[...]\
}'

Модели Tuned Gemma

Ollama предоставляет набор официальных вариантов моделей Gemma для немедленного использования, которые квантованы и сохранены в формате GGUF. Вы можете использовать свои собственные настроенные модели Gemma с Ollama, преобразовав их в формат GGUF. Ollama включает в себя несколько функций для преобразования настроенных моделей из формата Modelfile в GGUF. Для получения дополнительной информации о том, как преобразовать вашу настроенную модель в GGUF, см. файл README Ollama.

Следующие шаги

После запуска Gemma с Ollama вы можете начать экспериментировать и создавать решения, используя возможности генеративного ИИ Gemma. Интерфейс командной строки Ollama может быть полезен для создания скриптовых решений. Локальный веб-интерфейс Ollama может быть полезен для создания экспериментальных приложений и приложений с небольшим объемом использования.