Uruchamianie modelu Gemma za pomocą MLX

MLX to platforma tablicowa do uczenia maszynowego na układach Apple Silicon.

Szybki start

Instalowanie z indeksu pakietów Pythona (PyPI)

pip install mlx mlx-lm mlx-vlm

Przykładowe polecenie:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

Serwer możesz uruchomić za pomocą tego polecenia:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

Spowoduje to utworzenie serwera, który umożliwi Ci dostęp do modelu za pomocą punktu końcowego zgodnego z OpenAI (http://localhost:8080/v1).

Więcej informacji i instrukcje korzystania z MLX z Gemma znajdziesz w oficjalnym repozytorium:

• MLX w GitHubie
• Społeczność MLX na platformie Hugging Face