O LM Studio é um aplicativo de computador fácil de usar, mas poderoso, para testar e desenvolver com modelos de IA locais diretamente no seu computador. O LM Studio é compatível com modelos do Gemma nos formatos GGUF (llama.cpp) e MLX para inferência rápida e eficiente, totalmente local na sua máquina.
Configuração
Esta seção orienta você no processo de solicitação de acesso ao modelo, download e instalação do software LM Studio e carregamento de um modelo Gemma no LM Studio.
Baixar e instalar o LM Studio
Faça o download do instalador para macOS, Windows ou Linux no site do LM Studio.
Depois de concluir o download e executar o instalador, abra o aplicativo LM Studio e clique em vários lugares para se familiarizar com a interface. Para baixar modelos, pressione Cmd + Shift + M no Mac ou Ctrl + Shift + M no PC.
Fazer o download dos modelos Gemma para execução local
Os modelos da Gemma são muito populares entre os usuários de LLMs locais devido à pegada de memória mínima e aos recursos avançados, incluindo geração de texto, seguimento de instruções, uso de ferramentas e, em alguns casos, compreensão de imagens. Confira os modelos escolhidos pela equipe no app ou em https://lmstudio.ai/models e encontre os modelos da Gemma que funcionam na sua máquina. Você também pode pesquisar e baixar modelos da Gemma no app LM Studio ou usando a CLI lms (saiba mais).
Como usar o downloader de modelos no app do LM Studio
- Abra o app LM Studio e pesquise qualquer modelo pressionando ⌘ + Shift + M no Mac ou Ctrl + Shift + M no PC.
- Pesquise "Gemma".
- Escolha um resultado interessante, e o LM Studio vai sugerir a variante adequada para seu hardware.
- Clique em Fazer download. Depois que o download terminar, carregue o modelo para usá-lo em uma nova conversa.
Avançado: usar seu próprio arquivo de modelo GGUF Gemma convertido
Se você tiver convertido um modelo Gemma para GGUF, use a CLI do LM Studio
lms para carregar o modelo no LM Studio.
- Usar:
lms import <path/to/model.gguf>
- O LM Studio vai detectar automaticamente o modelo e preencher o aplicativo em "Meus modelos".
- Ajuste o tamanho do contexto e as configurações de hardware conforme necessário.
Se lms import não funcionar automaticamente, ainda será possível importar modelos manualmente para o LM Studio. Leia mais sobre a estrutura do diretório de modelos do LM Studio em Importar modelos.
Depois que o modelo terminar de carregar (indicado pela barra de progresso), você poderá começar a conversar no LM Studio.
Disponibilizar o modelo pelo servidor do LM Studio
Disponibilizar pela GUI do LM Studio
No aplicativo LM Studio, acesse a guia "Desenvolvedor" e pressione Cmd / Ctrl + L para abrir o carregador de modelos. Aqui, você pode conferir uma lista de modelos baixados e selecionar um para carregar. Por padrão, o LM Studio seleciona os parâmetros de carga que otimizam o desempenho do modelo no seu hardware.
Servir usando a CLI do LM Studio
Se você preferir trabalhar no terminal, use a CLI do LM Studio para interagir com seus modelos. Confira uma lista de comandos em "lms".
Primeiro, carregue um modelo Gemma que você baixou executando:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Agora você já pode começar. Use as APIs REST do LM Studio para usar modelos do Gemma de maneira programática no seu próprio código.
Saiba como fazer isso https://lmstudio.ai/docs/developer.
Apêndice
Como conseguir um modelo do Hugging Face
Primeiro, ative o LM Studio em Configurações de apps locais no Hugging Face.
No card do modelo, clique no menu suspenso "Usar este modelo" e selecione LM Studio. Isso vai executar o modelo diretamente no LM Studio se você já tiver um ou mostrar uma opção de download se não tiver.