MLX で Gemma を実行する

MLX は、Apple シリコンでの機械学習のための配列フレームワークです。

クイック スタート

Python Package Index（PyPI） からインストールする

pip install mlx mlx-lm mlx-vlm

コマンドの例:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

次のコマンドでサーバーを起動できます。

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

これにより、OpenAI 互換のエンドポイント（http://localhost:8080/v1）を使用してモデルにアクセスできるサーバーが作成されます。

Gemma で MLX を使用する方法の詳細と手順については、公式リポジトリをご覧ください。