Ekzekutoni Gemma me MLX

MLX është një kornizë vargjesh për të mësuarit automatik në silicin e Apple.

Fillimi i shpejtë

Instaloni nga Indeksi i Paketave Python (PyPI)

pip install mlx mlx-lm mlx-vlm

Shembull komande:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

Mund ta nisni serverin me:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

Kjo krijon një server që ju lejon të hyni në modelin tuaj me pikën fundore të pajtueshme me OpenAI ( http://localhost:8080/v1 ).

Për më shumë informacion dhe udhëzime se si të përdorni MLX me Gemma, referojuni depove zyrtare: