Управляйте Джеммой с помощью MLX.

MLX — это платформа для работы с массивами в машинном обучении на процессорах Apple Silicon.

Быстрый старт

Установите из индекса пакетов Python (PyPI).

pip install mlx mlx-lm mlx-vlm

Пример команды:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

Запустить сервер можно с помощью следующей команды:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

Это создаст сервер, который позволит вам получить доступ к вашей модели через совместимую с OpenAI конечную точку ( http://localhost:8080/v1 ).

Для получения дополнительной информации и инструкций по использованию MLX с Gemma обратитесь к официальному репозиторию:

• MLX на GitHub
• Сообщество MLX на Hugging Face