Gemma mit MLX ausführen

MLX ist ein Array-Framework für maschinelles Lernen auf Apple-Silizium.

Schnelleinstieg

Aus dem Python-Paketindex (PyPI) installieren

pip install mlx mlx-lm mlx-vlm

Beispielbefehl:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

Sie können den Server mit folgendem Befehl starten:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

Dadurch wird ein Server erstellt, über den Sie mit dem OpenAI-kompatiblen Endpunkt (http://localhost:8080/v1) auf Ihr Modell zugreifen können.

Weitere Informationen und Anleitungen zur Verwendung von MLX mit Gemma finden Sie im offiziellen Repository: