LM Studio হল একটি বন্ধুত্বপূর্ণ কিন্তু শক্তিশালী ডেস্কটপ অ্যাপ্লিকেশন যা আপনার কম্পিউটারে সরাসরি স্থানীয় AI মডেলগুলি পরীক্ষা এবং বিকাশের জন্য ব্যবহার করা যেতে পারে। LM Studio আপনার মেশিনে সম্পূর্ণ স্থানীয়ভাবে দ্রুত এবং দক্ষ অনুমানের জন্য GGUF (llama.cpp) এবং MLX উভয় ফর্ম্যাটেই Gemma মডেলগুলিকে সমর্থন করে।
সেটআপ
এই বিভাগটি আপনাকে মডেল অ্যাক্সেসের অনুরোধ, LM স্টুডিও সফ্টওয়্যার ডাউনলোড এবং ইনস্টল করা এবং LM স্টুডিওতে একটি জেমা মডেল লোড করার বিষয়ে নির্দেশনা দেয়।
LM Studio ডাউনলোড এবং ইনস্টল করুন
LM Studio ওয়েবসাইট থেকে macOS, Windows, অথবা Linux এর জন্য ইনস্টলারটি ডাউনলোড করুন।
ডাউনলোড শেষ করে ইনস্টলারটি চালানোর পর, LM Studio অ্যাপ্লিকেশনটি খুলুন এবং ইন্টারফেসের সাথে পরিচিত হতে চারপাশে ক্লিক করুন। মডেলগুলি ডাউনলোড করতে, Mac-এ Cmd + Shift + M, অথবা PC-তে Ctrl + Shift + M টিপুন।
স্থানীয়ভাবে চালানোর জন্য জেমা মডেলগুলি ডাউনলোড করুন
জেমা মডেলগুলি স্থানীয় এলএলএম ব্যবহারকারীদের কাছে অত্যন্ত জনপ্রিয়, কারণ তাদের ন্যূনতম মেমোরি ফুটপ্রিন্ট এবং শক্তিশালী ক্ষমতা রয়েছে, যার মধ্যে রয়েছে টেক্সট তৈরি, নির্দেশনা অনুসরণ, টুল ব্যবহার এবং কিছু ক্ষেত্রে ছবি বোঝা। অ্যাপের মধ্যে অথবা https://lmstudio.ai/models-এ কর্মীদের দ্বারা নির্বাচিত মডেলগুলি অন্বেষণ করুন এবং আপনার মেশিনের সাথে মানানসই জেমা মডেলগুলি খুঁজুন। আপনি এলএম স্টুডিও অ্যাপের মধ্যে থেকে অথবা এলএমএস সিএলআই ব্যবহার করে জেমা মডেলগুলি অনুসন্ধান এবং ডাউনলোড করতে পারেন ( আরও জানুন )।
এলএম স্টুডিওর ইন-অ্যাপ মডেল ডাউনলোডার ব্যবহার করে
- LM Studio অ্যাপটি খুলুন এবং Mac-এ ⌘ + Shift + M টিপে অথবা PC-তে Ctrl + Shift + M টিপে যেকোনো মডেল অনুসন্ধান করুন।
- "জেমা" অনুসন্ধান করুন
- আকর্ষণীয় মনে হচ্ছে এমন একটি ফলাফল বেছে নিন এবং LM স্টুডিও আপনার হার্ডওয়্যারের জন্য উপযুক্ত বিকল্পটি সুপারিশ করবে।
- ডাউনলোড করুন এ ক্লিক করুন। ডাউনলোড শেষ হওয়ার পরে, একটি নতুন চ্যাটে ব্যবহার করার জন্য মডেলটি লোড করুন।
উন্নত: আপনার নিজস্ব রূপান্তরিত GGUF Gemma মডেল ফাইল ব্যবহার করুন
যদি আপনি নিজে একটি জেমা মডেলকে GGUF তে রূপান্তর করে থাকেন, তাহলে আপনি LM স্টুডিওর CLI lms ব্যবহার করে আপনার মডেলটি LM স্টুডিওতে লোড করতে পারেন।
- ব্যবহার:
lms import <path/to/model.gguf>
- LM স্টুডিও স্বয়ংক্রিয়ভাবে মডেলটি সনাক্ত করবে এবং এটি "আমার মডেল" এর অধীনে অ্যাপ্লিকেশনে পপুলেট হবে।
- প্রয়োজন অনুযায়ী প্রেক্ষাপটের দৈর্ঘ্য এবং হার্ডওয়্যার সেটিংস সামঞ্জস্য করুন।
যদি lms import স্বয়ংক্রিয়ভাবে কাজ না করে, তবুও আপনি আপনার LM স্টুডিওতে ম্যানুয়ালি মডেল আমদানি করতে পারবেন। LM স্টুডিওর মডেল ডিরেক্টরি কাঠামো সম্পর্কে আরও পড়ুন " Import Models " এ।
মডেলটি লোডিং সম্পন্ন হয়ে গেলে (প্রগতি বার দ্বারা নির্দেশিত), আপনি LM স্টুডিওতে চ্যাট শুরু করতে পারেন!
এলএম স্টুডিওর সার্ভারের মাধ্যমে মডেলটি পরিবেশন করুন
LM স্টুডিওর GUI এর মাধ্যমে পরিবেশন করুন
LM Studio অ্যাপ্লিকেশনে, Developer ট্যাবে যান এবং তারপর Cmd / Ctrl + L টিপে মডেল লোডারটি খুলুন। এখানে আপনি ডাউনলোড করা মডেলগুলির একটি তালিকা দেখতে পারেন এবং লোড করার জন্য একটি নির্বাচন করতে পারেন। LM Studio ডিফল্টরূপে লোড প্যারামিটারগুলি নির্বাচন করবে যা আপনার হার্ডওয়্যারে মডেলের কর্মক্ষমতা অপ্টিমাইজ করে।
এলএম স্টুডিওর সিএলআই-এর মাধ্যমে পরিবেশন করুন
যদি আপনি টার্মিনালে কাজ করতে পছন্দ করেন, তাহলে আপনার মডেলগুলির সাথে ইন্টারঅ্যাক্ট করার জন্য LM স্টুডিওর CLI ব্যবহার করুন। " lms " এ কমান্ডের একটি তালিকা দেখুন।
প্রথমে, আপনার ডাউনলোড করা একটি জেমা মডেল লোড করুন:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
এখন আপনি যেতে প্রস্তুত! আপনার নিজস্ব কোড থেকে প্রোগ্রাম্যাটিকভাবে জেমা মডেলগুলি ব্যবহার করতে LM স্টুডিওর REST API ব্যবহার করুন।
এটি কীভাবে করবেন সে সম্পর্কে আরও জানুন https://lmstudio.ai/docs/developer ।
পরিশিষ্ট
হাগিং ফেস থেকে একটি মডেল নেওয়া
প্রথমে, Hugging Face-এ আপনার Local Apps Settings-এর অধীনে LM Studio সক্রিয় করুন।
মডেল কার্ডে, "এই মডেলটি ব্যবহার করুন" ড্রপ-ডাউনে ক্লিক করুন এবং LM Studio নির্বাচন করুন। যদি আপনার কাছে ইতিমধ্যেই মডেলটি থাকে তবে এটি সরাসরি LM Studio-তে চালাবে, অথবা যদি না থাকে তবে আপনাকে একটি ডাউনলোড বিকল্প দেখাবে।