הפעלת Gemma עם MLX

‫MLX היא מסגרת מערכים ללמידת מכונה ב-Apple Silicon.

התחלה מהירה

התקנה מאינדקס החבילות של Python ‏ (PyPI)

pip install mlx mlx-lm mlx-vlm

פקודה לדוגמה:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

אפשר להפעיל את השרת באמצעות הפקודה:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

הפעולה הזו יוצרת שרת שמאפשר לכם לגשת למודל באמצעות נקודת הקצה (endpoint) שמתאימה ל-OpenAI ‏(http://localhost:8080/v1).

מידע נוסף והוראות לשימוש ב-MLX עם Gemma זמינים במאגר הרשמי: