MLX দিয়ে জেমা চালান

MLX হলো অ্যাপল সিলিকনে মেশিন লার্নিংয়ের জন্য একটি অ্যারে ফ্রেমওয়ার্ক।

দ্রুত শুরু

পাইথন প্যাকেজ ইনডেক্স (PyPI) থেকে ইনস্টল করুন

pip install mlx mlx-lm mlx-vlm

উদাহরণ কমান্ড:

# Text Generation
mlx_lm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Who are you?"

# Vision Task
mlx_vlm.generate --model mlx-community/gemma-4-e2b-it-4bit --prompt "Describe this image." --image <path_to_image>

আপনি সার্ভারটি এভাবে চালু করতে পারেন:

mlx_vlm.server --port 8080

# Preload a model at startup (Hugging Face repo or local path)
mlx_vlm.server --model mlx-community/gemma-4-e2b-it-4bit

এটি এমন একটি সার্ভার তৈরি করে যা আপনাকে OpenAI-উপযোগী এন্ডপয়েন্ট ( http://localhost:8080/v1 ) ব্যবহার করে আপনার মডেলটি অ্যাক্সেস করতে দেয়।

জেমার সাথে এমএলএক্স কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও তথ্য ও নির্দেশাবলীর জন্য অফিসিয়াল রিপোজিটরি দেখুন: