LM Studio to przyjazna, ale zaawansowana aplikacja na komputery, która umożliwia eksperymentowanie z lokalnymi modelami AI i ich rozwijanie bezpośrednio na komputerze. LM Studio obsługuje modele Gemma w formatach GGUF (llama.cpp) i MLX, co umożliwia szybkie i wydajne wnioskowanie w całości na komputerze lokalnym.
Konfiguracja
W tej sekcji znajdziesz instrukcje dotyczące przesyłania prośby o dostęp do modelu, pobierania i instalowania oprogramowania LM Studio oraz wczytywania modelu Gemma do LM Studio.
Pobieranie i instalowanie LM Studio
Pobierz instalator na system macOS, Windows lub Linux ze strony LM Studio.
Po zakończeniu pobierania i uruchomieniu instalatora otwórz aplikację LM Studio i klikaj różne opcje, aby zapoznać się z interfejsem. Aby pobrać modele, naciśnij Cmd + Shift + M na Macu lub Ctrl + Shift + M na PC.
Pobieranie modeli Gemma do uruchamiania lokalnego
Modele Gemma są bardzo popularne wśród użytkowników lokalnych modeli LLM ze względu na niewielkie wymagania dotyczące pamięci i duże możliwości, w tym generowanie tekstu, wykonywanie instrukcji, korzystanie z narzędzi, a w niektórych przypadkach także analizowanie obrazów. Przeglądaj wybrane przez zespół modele w aplikacji lub na stronie https://lmstudio.ai/models i znajdź modele Gemma, które pasują do Twojego urządzenia. Modele Gemma możesz też wyszukiwać i pobierać w aplikacji LM Studio lub za pomocą interfejsu wiersza poleceń lms (więcej informacji).
Korzystanie z funkcji pobierania modeli w aplikacji LM Studio
- Otwórz aplikację LM Studio i wyszukaj dowolny model, naciskając ⌘ + Shift + M na Macu lub Ctrl + Shift + M na PC.
- Wyszukaj „Gemma”.
- Wybierz interesujący Cię wynik, a LM Studio zaproponuje odpowiedni wariant dla Twojego sprzętu.
- Kliknij Pobierz. Po zakończeniu pobierania załaduj model, aby użyć go w nowym czacie.
Zaawansowane: używanie własnego przekonwertowanego pliku modelu Gemma w formacie GGUF
Jeśli model Gemma został przekonwertowany na GGUF samodzielnie, możesz użyć interfejsu CLI LM Studio
lms, aby załadować model do LM Studio.
- Użyj:
lms import <path/to/model.gguf>
- LM Studio automatycznie wykryje model i wypełni nim aplikację w sekcji „Moje modele”.
- W razie potrzeby dostosuj długość kontekstu i ustawienia sprzętu.
Jeśli lms import nie działa automatycznie, nadal możesz ręcznie importować modele do LM Studio. Więcej informacji o strukturze katalogu modeli LM Studio znajdziesz w sekcji „Importowanie modeli”.
Gdy model zostanie wczytany (co będzie sygnalizowane przez pasek postępu), możesz zacząć czatować w LM Studio.
Udostępnianie modelu za pomocą serwera LM Studio
Wyświetlanie za pomocą interfejsu LM Studio
W aplikacji LM Studio otwórz kartę Developer (Programista), a następnie naciśnij Cmd / Ctrl + L, aby otworzyć moduł wczytywania modelu. Tutaj możesz wyświetlić listę pobranych modeli i wybrać jeden z nich do wczytania. LM Studio domyślnie wybierze parametry wczytywania, które optymalizują wydajność modelu na Twoim sprzęcie.
Udostępnianie za pomocą interfejsu wiersza poleceń LM Studio
Jeśli wolisz pracować w terminalu, użyj interfejsu CLI LM Studio, aby korzystać z modeli. Listę poleceń znajdziesz na stronie „lms”.
Najpierw wczytaj pobrany model Gemma, uruchamiając to polecenie:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Możesz zaczynać! Używaj interfejsów REST API LM Studio, aby programowo korzystać z modeli Gemma we własnym kodzie.
Więcej informacji o tym, jak to zrobić, znajdziesz na stronie https://lmstudio.ai/docs/developer.
Dodatek
Pobieranie modelu z Hugging Face
Najpierw włącz LM Studio w sekcji Ustawienia aplikacji lokalnych w Hugging Face.
Na karcie modelu kliknij menu „Użyj tego modelu” i wybierz LM Studio. Jeśli masz już model, zostanie on uruchomiony bezpośrednio w LM Studio. Jeśli nie, zobaczysz opcję pobierania.