LM Studio एक डेस्कटॉप ऐप्लिकेशन है. यह इस्तेमाल करने में आसान है और इसमें कई सुविधाएं उपलब्ध हैं. इसकी मदद से, सीधे अपने कंप्यूटर पर लोकल एआई मॉडल को आज़माया जा सकता है और उन्हें डेवलप किया जा सकता है. LM Studio, Gemma मॉडल के साथ काम करता है. ये मॉडल, GGUF (llama.cpp) और MLX, दोनों फ़ॉर्मैट में उपलब्ध हैं. इनकी मदद से, आपके कंप्यूटर पर तेज़ी से और असरदार तरीके से अनुमान लगाया जा सकता है.
सेटअप
इस सेक्शन में, मॉडल का ऐक्सेस पाने का अनुरोध करने, LM Studio सॉफ़्टवेयर को डाउनलोड और इंस्टॉल करने, और LM Studio में Gemma मॉडल लोड करने के बारे में बताया गया है.
LM Studio को डाउनलोड और इंस्टॉल करना
macOS, Windows या Linux के लिए इंस्टॉलर को LM Studio की वेबसाइट से डाउनलोड करें.
डाउनलोड पूरा होने और इंस्टॉलर चलाने के बाद, LM Studio ऐप्लिकेशन खोलें. इसके बाद, इंटरफ़ेस के बारे में जानने के लिए, अलग-अलग विकल्पों पर क्लिक करें. मॉडल डाउनलोड करने के लिए, Mac पर Cmd + Shift + M या पीसी पर Ctrl + Shift + M दबाएं.
Gemma मॉडल को स्थानीय तौर पर चलाने के लिए डाउनलोड करना
Gemma मॉडल, एलएलएम का इस्तेमाल करने वाले लोगों के बीच काफ़ी लोकप्रिय हैं. इसकी वजह यह है कि ये मॉडल, कम मेमोरी का इस्तेमाल करते हैं और इनमें कई सुविधाएं उपलब्ध हैं. जैसे, टेक्स्ट जनरेट करना, निर्देशों का पालन करना, टूल का इस्तेमाल करना, और कुछ मामलों में इमेज को समझना. ऐप्लिकेशन में या https://lmstudio.ai/models पर जाकर, स्टाफ़ के चुने हुए मॉडल एक्सप्लोर करें. साथ ही, अपनी मशीन के हिसाब से Gemma मॉडल ढूंढें. LM Studio ऐप्लिकेशन में जाकर या lms सीएलआई (ज़्यादा जानें) का इस्तेमाल करके भी, Gemma मॉडल खोजे और डाउनलोड किए जा सकते हैं.
LM Studio में मौजूद मॉडल डाउनलोडर का इस्तेमाल करना
- LM Studio ऐप्लिकेशन खोलें. इसके बाद, Mac पर ⌘ + Shift + M या पीसी पर Ctrl + Shift + M दबाकर कोई मॉडल खोजें.
- "Gemma" खोजें
- कोई ऐसा नतीजा चुनें जो आपको दिलचस्प लगे. इसके बाद, LM Studio आपके हार्डवेयर के हिसाब से सही वैरिएंट का सुझाव देगा.
- डाउनलोड करें पर क्लिक करें. डाउनलोड पूरा होने के बाद, मॉडल को लोड करें, ताकि उसे नई चैट में इस्तेमाल किया जा सके.
ऐडवांस: GGUF फ़ॉर्मैट में बदली गई Gemma मॉडल फ़ाइल का इस्तेमाल करना
अगर आपने Gemma मॉडल को खुद ही GGUF में बदला था, तो LM Studio में अपना मॉडल लोड करने के लिए, LM Studio के सीएलआई
lms का इस्तेमाल किया जा सकता है.
- इस्तेमाल करें:
lms import <path/to/model.gguf>
- LM Studio, मॉडल का अपने-आप पता लगा लेगा. इसके बाद, यह "मेरे मॉडल" सेक्शन में दिखेगा.
- कॉन्टेक्स्ट की लंबाई और हार्डवेयर की सेटिंग में, ज़रूरत के मुताबिक बदलाव करें.
अगर lms import अपने-आप काम नहीं करता है, तो भी आपके पास LM Studio में मॉडल को मैन्युअल तरीके से इंपोर्ट करने का विकल्प होता है. LM Studio की मॉडल डायरेक्ट्री के स्ट्रक्चर के बारे में ज़्यादा जानने के लिए, "मॉडल इंपोर्ट करें" पर जाएं.
मॉडल के लोड होने के बाद (प्रोग्रेस बार से पता चलता है), LM Studio में चैट करना शुरू किया जा सकता है!
LM Studio के सर्वर के ज़रिए मॉडल को पब्लिश करना
LM Studio के जीयूआई के ज़रिए सेवा देना
LM Studio ऐप्लिकेशन में, डेवलपर टैब पर जाएं. इसके बाद, मॉडल लोडर खोलने के लिए Cmd / Ctrl + L दबाएं. यहां डाउनलोड किए गए मॉडल की सूची देखी जा सकती है. साथ ही, लोड करने के लिए कोई मॉडल चुना जा सकता है. LM Studio, डिफ़ॉल्ट रूप से उन लोड पैरामीटर को चुनेगा जो आपके हार्डवेयर पर मॉडल की परफ़ॉर्मेंस को ऑप्टिमाइज़ करते हैं.
LM Studio के सीएलआई के ज़रिए मॉडल को उपलब्ध कराना
अगर आपको टर्मिनल में काम करना है, तो अपने मॉडल के साथ इंटरैक्ट करने के लिए, LM Studio के सीएलआई का इस्तेमाल करें. "lms" पर जाकर, निर्देशों की सूची देखें.
सबसे पहले, डाउनलोड किए गए Gemma मॉडल को लोड करें. इसके लिए, यह कमांड चलाएं:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
अब आप इसका इस्तेमाल कर सकते हैं! LM Studio के REST API का इस्तेमाल करके, अपने कोड से प्रोग्राम के हिसाब से Gemma मॉडल इस्तेमाल करें.
इसे करने के बारे में ज़्यादा जानें https://lmstudio.ai/docs/developer.
अपेंडिक्स
Hugging Face से मॉडल पाना
सबसे पहले, Hugging Face में Local Apps Settings में जाकर, LM Studio को चालू करें.
मॉडल कार्ड पर, "इस मॉडल का इस्तेमाल करें" ड्रॉप-डाउन पर क्लिक करें. इसके बाद, LM Studio को चुनें. अगर आपके पास पहले से यह मॉडल है, तो यह सीधे LM Studio में चलेगा. अगर आपके पास यह मॉडल नहीं है, तो आपको इसे डाउनलोड करने का विकल्प दिखेगा.