Menjalankan Gemma dengan MLX

MLX adalah framework array untuk machine learning di Apple silicon.

Mulai cepat

Instal dari Python Package Index (PyPI)

pip install mlx mlx-lm mlx-vlm

Contoh perintah:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

Anda dapat memulai server dengan:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

Tindakan ini akan membuat server yang memungkinkan Anda mengakses model dengan endpoint yang kompatibel dengan OpenAI (http://localhost:8080/v1).

Untuk mengetahui informasi dan petunjuk selengkapnya tentang cara menggunakan MLX dengan Gemma, lihat repositori resmi:

• MLX di GitHub
• Komunitas MLX di Hugging Face