اجرای Gemma با MLX

MLX یک چارچوب آرایه‌ای برای یادگیری ماشینی روی تراشه‌های اپل است.

شروع سریع

نصب از فهرست بسته‌های پایتون (PyPI)

pip install mlx mlx-lm mlx-vlm

دستور مثال:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

می‌توانید سرور را با دستور زیر شروع کنید:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

این یک سرور ایجاد می‌کند که به شما امکان می‌دهد با نقطه پایانی سازگار با OpenAI ( http://localhost:8080/v1 ) به مدل خود دسترسی داشته باشید.

برای اطلاعات بیشتر و دستورالعمل‌های مربوط به نحوه استفاده از MLX با Gemma، به مخزن رسمی مراجعه کنید: