Chạy Gemma bằng MLX

MLX là một khung mảng để học máy trên Apple silicon.

Bắt đầu nhanh

Cài đặt từ Chỉ mục gói Python (PyPI)

pip install mlx mlx-lm mlx-vlm

Lệnh mẫu:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

Bạn có thể khởi động máy chủ bằng:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

Lệnh này sẽ tạo một máy chủ cho phép bạn truy cập vào mô hình của mình bằng điểm cuối tương thích với OpenAI (http://localhost:8080/v1).

Để biết thêm thông tin và hướng dẫn về cách sử dụng MLX với Gemma, hãy tham khảo kho lưu trữ chính thức: