LM Studio është një aplikacion desktop miqësor por i fuqishëm për eksperimentim dhe zhvillim me modele lokale të IA-së direkt në kompjuterin tuaj. LM Studio mbështet modelet Gemma në të dy formatet GGUF (llama.cpp) dhe MLX për një inferencë të shpejtë dhe efikase, plotësisht lokalisht në makinën tuaj.
Konfigurimi
Ky seksion ju udhëzon përmes kërkimit të aksesit në model, shkarkimit dhe instalimit të softuerit LM Studio dhe ngarkimit të një modeli Gemma në LM Studio.
Shkarkoni dhe instaloni LM Studio
Shkarkoni instaluesin për macOS, Windows ose Linux nga faqja e internetit e LM Studio .
Pasi të keni përfunduar shkarkimin dhe të keni ekzekutuar instaluesin, hapni aplikacionin LM Studio dhe klikoni përreth për t'u njohur me ndërfaqen. Për të shkarkuar modelet, shtypni Cmd + Shift + M në Mac ose Ctrl + Shift + M në PC.
Shkarkoni modelet Gemma për t'i ekzekutuar në nivel lokal
Modelet Gemma janë shumë të njohura tek përdoruesit vendas të LLM falë gjurmës së tyre minimale të kujtesës dhe aftësive të fuqishme, duke përfshirë gjenerimin e tekstit, ndjekjen e udhëzimeve, përdorimin e mjeteve dhe në disa raste kuptimin e imazheve. Eksploroni modelet e zgjedhura nga stafi brenda aplikacionit ose në https://lmstudio.ai/models dhe gjeni modelet Gemma që i përshtaten makinës suaj. Gjithashtu mund të kërkoni dhe shkarkoni modelet Gemma nga brenda aplikacionit LM Studio ose duke përdorur lms CLI ( mësoni më shumë ).
Duke përdorur shkarkuesin e modelit brenda aplikacionit të LM Studio
- Hap aplikacionin LM Studio dhe kërko për çdo model duke shtypur ⌘ + Shift + M në Mac ose Ctrl + Shift + M në PC.
- Kërko për "Gemma"
- Zgjidh një rezultat që duket interesant dhe LM Studio do të sugjerojë variantin e përshtatshëm për harduerin tënd.
- Klikoni Shkarko . Pasi të përfundojë shkarkimi, ngarkoni modelin për ta përdorur në një bisedë të re.
I avancuar: Përdorni skedarin tuaj të modelit GGUF Gemma të konvertuar
Nëse e keni konvertuar vetë një model Gemma në GGUF, mund të përdorni CLI lms të LM Studio për të ngarkuar modelin tuaj në LM Studio.
- Përdorim:
lms import <path/to/model.gguf>
- LM Studio do ta zbulojë automatikisht modelin dhe ai do të shfaqet në aplikacion nën "Modelet e Mia".
- Rregulloni gjatësinë e kontekstit dhe cilësimet e harduerit sipas nevojës.
Nëse lms import nuk funksionon automatikisht, ju prapë mund të importoni manualisht modele në LM Studio tuaj. Lexoni më shumë rreth strukturës së direktorisë së modeleve të LM Studio te " Importo Modelet ".
Pasi modeli të ketë përfunduar ngarkimin (siç tregohet nga shiriti i progresit), mund të filloni të bisedoni në LM Studio!
Shërbejeni modelin përmes serverit të LM Studio
Shërbejeni nëpërmjet GUI-t të LM Studio
Në aplikacionin LM Studio, shkoni te skeda Zhvillues dhe më pas shtypni Cmd / Ctrl + L për të hapur ngarkuesin e modelit. Këtu mund të shihni një listë të modeleve të shkarkuara dhe të zgjidhni një për t'u ngarkuar. LM Studio do të zgjedhë si parazgjedhje parametrat e ngarkimit që optimizojnë performancën e modelit në harduerin tuaj.
Shërbejeni nëpërmjet CLI-së së LM Studio
Nëse preferoni të punoni në terminal, përdorni CLI-në e LM Studio për të bashkëvepruar me modelet tuaja. Shihni një listë komandash te " lms ".
Së pari, ngarkoni një model Gemma që keni shkarkuar duke ekzekutuar:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Tani jeni gati! Përdorni API-të REST të LM Studio për të përdorur modelet Gemma në mënyrë programore nga kodi juaj.
Mësoni më shumë se si ta bëni këtë https://lmstudio.ai/docs/developer .
Shtojca
Marrja e një modeli nga Hugging Face
Së pari, aktivizoni LM Studio në Cilësimet e Aplikacioneve Lokale në Hugging Face.
Në kartën e modelit, klikoni në menynë zbritëse "Përdore këtë model" dhe zgjidhni LM Studio. Kjo do ta ekzekutojë modelin direkt në LM Studio nëse e keni tashmë, ose do t'ju tregojë një opsion shkarkimi nëse nuk e keni.