เรียกใช้ Gemma ด้วย MLX

MLX เป็นเฟรมเวิร์กอาร์เรย์สำหรับแมชชีนเลิร์นนิงบน Apple Silicon

การเริ่มใช้งานอย่างง่าย

ติดตั้ง จากดัชนีแพ็กเกจ Python (PyPI)

pip install mlx mlx-lm mlx-vlm

ตัวอย่างคำสั่ง

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

คุณเริ่มเซิร์ฟเวอร์ได้โดยใช้คำสั่งต่อไปนี้

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

ซึ่งจะสร้างเซิร์ฟเวอร์ที่ช่วยให้คุณเข้าถึงโมเดลด้วยปลายทางที่เข้ากันได้กับ OpenAI (http://localhost:8080/v1)

ดูข้อมูลเพิ่มเติมและวิธีการใช้ MLX กับ Gemma ได้ที่ ที่เก็บอย่างเป็นทางการ