LM Studio یک برنامه دسکتاپ کاربرپسند اما قدرتمند برای آزمایش و توسعه مدلهای هوش مصنوعی محلی به طور مستقیم روی رایانه شما است. LM Studio از مدلهای Gemma در هر دو فرمت GGUF (llama.cpp) و MLX برای استنتاج سریع و کارآمد، کاملاً محلی روی دستگاه شما، پشتیبانی میکند.
راهاندازی
این بخش شما را در درخواست دسترسی به مدل، دانلود و نصب نرمافزار LM Studio و بارگذاری مدل Gemma در LM Studio راهنمایی میکند.
دانلود و نصب LM Studio
فایل نصبی مربوط به macOS، Windows یا Linux را از وبسایت LM Studio دانلود کنید.
پس از اتمام دانلود و اجرای نصبکننده، برنامه LM Studio را باز کنید و برای آشنایی با رابط کاربری، روی آن کلیک کنید. برای دانلود مدلها، کلیدهای Cmd + Shift + M را در مک یا Ctrl + Shift + M را در کامپیوتر شخصی فشار دهید.
مدلهای Gemma را برای اجرا به صورت محلی دانلود کنید
مدلهای Gemma به لطف اشغال فضای کم حافظه و قابلیتهای قدرتمندشان، از جمله تولید متن، دنبال کردن دستورالعملها، استفاده از ابزار و در برخی موارد درک تصویر، در بین کاربران محلی LLM بسیار محبوب هستند. مدلهای انتخاب شده توسط کارکنان را در داخل برنامه یا در https://lmstudio.ai/models کاوش کنید و مدلهای Gemma متناسب با دستگاه خود را پیدا کنید. همچنین میتوانید مدلهای Gemma را از داخل برنامه LM Studio یا با استفاده از lms CLI جستجو و دانلود کنید ( بیشتر بدانید ).
استفاده از دانلودکننده مدل درون برنامهای LM Studio
- برنامه LM Studio را باز کنید و با فشار دادن کلیدهای ⌘ + Shift + M در مک یا Ctrl + Shift + M در کامپیوتر، هر مدلی را جستجو کنید.
- جستجوی عبارت "جما"
- نتیجهای را انتخاب کنید که جالب به نظر برسد و LM Studio نوع مناسب برای سختافزار شما را پیشنهاد میدهد.
- روی دانلود کلیک کنید. پس از اتمام دانلود، مدل را بارگذاری کنید تا در یک چت جدید از آن استفاده کنید.
پیشرفته: از فایل مدل GGUF Gemma تبدیلشدهی خودتان استفاده کنید
اگر خودتان یک مدل Gemma را به GGUF تبدیل کردهاید، میتوانید lms CLI LM Studio برای بارگذاری مدل خود در LM Studio استفاده کنید.
- استفاده:
lms import <path/to/model.gguf>
- LM Studio به طور خودکار مدل را شناسایی کرده و آن را در برنامه، در قسمت «مدلهای من» نمایش میدهد.
- در صورت نیاز، طول متن و تنظیمات سختافزاری را تنظیم کنید.
اگر lms import به طور خودکار کار نکرد، شما همچنان میتوانید مدلها را به صورت دستی به LM Studio خود وارد کنید. برای اطلاعات بیشتر در مورد ساختار دایرکتوری مدل LM Studio به « Import Models » مراجعه کنید.
پس از اتمام بارگذاری مدل (همانطور که در نوار پیشرفت نشان داده شده است)، میتوانید در LM Studio چت کردن را شروع کنید!
مدل را از طریق سرور LM Studio ارائه دهید
از طریق رابط کاربری گرافیکی LM Studio ارائه دهید
در برنامه LM Studio، به برگه Developer بروید و سپس Cmd / Ctrl + L را فشار دهید تا model loader باز شود. در اینجا میتوانید لیستی از مدلهای دانلود شده را مشاهده کنید و یکی را برای بارگذاری انتخاب کنید. LM Studio به طور پیشفرض پارامترهای بارگذاری را انتخاب میکند که عملکرد مدل را روی سختافزار شما بهینه میکند.
از طریق رابط خط فرمان (CLI) در LM Studio خدمترسانی کنید
اگر ترجیح میدهید در ترمینال کار کنید، از رابط خط فرمان (CLI) LM Studio برای تعامل با مدلهای خود استفاده کنید. فهرستی از دستورات را در « lms » مشاهده کنید.
ابتدا، مدل Gemma را که دانلود کردهاید، با اجرای دستور زیر بارگذاری کنید:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
حالا آمادهاید! از REST API های LM Studio برای استفاده از مدلهای Gemma به صورت برنامهنویسی شده از کد خودتان استفاده کنید.
برای کسب اطلاعات بیشتر در مورد نحوه انجام این کار، به آدرس https://lmstudio.ai/docs/developer مراجعه کنید.
پیوست
گرفتن مدل از Hugging Face
ابتدا، LM Studio را در تنظیمات برنامههای محلی خود در Hugging Face فعال کنید.
در کارت مدل، روی منوی کشویی «استفاده از این مدل» کلیک کنید و LM Studio را انتخاب کنید. اگر از قبل LM Studio را دارید، این کار مدل را مستقیماً در آن اجرا میکند، یا اگر ندارید، گزینه دانلود را به شما نشان میدهد.