LM Studio è un'applicazione desktop semplice ma potente per sperimentare e sviluppare con modelli di AI locali direttamente sul tuo computer. LM Studio supporta i modelli Gemma nei formati GGUF (llama.cpp) e MLX per un'inferenza rapida ed efficiente, completamente in locale sulla tua macchina.
Configurazione
Questa sezione ti guida nella richiesta di accesso al modello, nel download e nell'installazione del software LM Studio e nel caricamento di un modello Gemma in LM Studio.
Scaricare e installare LM Studio
Scarica il programma di installazione per macOS, Windows o Linux dal sito web di LM Studio.
Dopo aver completato il download ed eseguito il programma di installazione, apri l'applicazione LM Studio e fai clic per familiarizzare con l'interfaccia. Per scaricare i modelli, premi Cmd + Maiusc + M su Mac o Ctrl + Maiusc + M su PC.
Scaricare i modelli Gemma per eseguirli localmente
I modelli Gemma sono molto apprezzati dagli utenti di LLM locali grazie al loro ingombro di memoria minimo e alle potenti funzionalità, tra cui la generazione di testo, il rispetto delle istruzioni, l'utilizzo di strumenti e, in alcuni casi, la comprensione delle immagini. Esplora i modelli scelti dallo staff all'interno dell'app o all'indirizzo https://lmstudio.ai/models e trova i modelli Gemma adatti alla tua macchina. Puoi anche cercare e scaricare i modelli Gemma dall'app LM Studio o utilizzando lms CLI (scopri di più).
Utilizzare il downloader di modelli in-app di LM Studio
- Apri l'app LM Studio e cerca un modello premendo ⌘ + Maiusc + M su Mac o Ctrl + Maiusc + M su PC.
- Cerca "Gemma".
- Scegli un risultato che ti sembra interessante e LM Studio ti suggerirà la variante adatta al tuo hardware.
- Fai clic su Scarica. Al termine del download, carica il modello per utilizzarlo in una nuova chat.
Avanzato: utilizza il tuo file del modello GGUF Gemma convertito
Se hai convertito un modello Gemma in GGUF, puoi utilizzare la CLI di LM Studio
lms per caricare il modello in LM Studio.
- Utilizzo:
lms import <path/to/model.gguf>
- LM Studio rileverà automaticamente il modello e lo inserirà nell'applicazione in "I miei modelli".
- Regola la lunghezza del contesto e le impostazioni hardware in base alle esigenze.
Se lms import non funziona automaticamente, puoi comunque importare manualmente
i modelli in LM Studio. Scopri di più sulla struttura della directory dei modelli di LM Studio in "Importa modelli".
Una volta completato il caricamento del modello (come indicato dalla barra di avanzamento), puoi iniziare a chattare in LM Studio.
Pubblica il modello tramite il server di LM Studio
Servire tramite la GUI di LM Studio
Nell'applicazione LM Studio, vai alla scheda Sviluppatore e premi Cmd/Ctrl + L per aprire il caricatore di modelli. Qui puoi visualizzare un elenco di modelli scaricati e selezionarne uno da caricare. Per impostazione predefinita, LM Studio selezionerà i parametri di caricamento che ottimizzano il rendimento del modello sull'hardware.
Servire tramite la CLI di LM Studio
Se preferisci lavorare nel terminale, utilizza la CLI di LM Studio per interagire con i tuoi modelli. Visualizza un elenco di comandi su "lms".
Innanzitutto, carica un modello Gemma che hai scaricato eseguendo:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Ora puoi iniziare. Utilizza le API REST di LM Studio per utilizzare i modelli Gemma in modo programmatico dal tuo codice.
Scopri di più su come farlo https://lmstudio.ai/docs/developer.
Appendice
Ottenere un modello da Hugging Face
Innanzitutto, attiva LM Studio in Impostazioni app locali in Hugging Face.
Nella scheda del modello, fai clic sul menu a discesa "Usa questo modello" e seleziona LM Studio. In questo modo, il modello verrà eseguito direttamente in LM Studio, se lo hai già, oppure verrà visualizzata un'opzione di download in caso contrario.