MLX की मदद से Gemma को चलाना

MLX, Apple सिलिकॉन पर मशीन लर्निंग के लिए एक ऐरे फ़्रेमवर्क है.

तुरंत शुरू करना

Python Package Index (PyPI) से इंस्टॉल करें

pip install mlx mlx-lm mlx-vlm

निर्देश का उदाहरण:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

सर्वर को इन कमांड से शुरू किया जा सकता है:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

इससे एक ऐसा सर्वर बनता है जिसकी मदद से, OpenAI के साथ काम करने वाले एंडपॉइंट (http://localhost:8080/v1) का इस्तेमाल करके अपने मॉडल को ऐक्सेस किया जा सकता है.

Gemma के साथ MLX का इस्तेमाल करने के बारे में ज़्यादा जानकारी और निर्देशों के लिए, आधिकारिक रिपॉज़िटरी देखें: