LM Studio es una aplicación de escritorio amigable y potente para experimentar y desarrollar con modelos de IA locales directamente en tu computadora. LM Studio admite los modelos de Gemma en formatos GGUF (llama.cpp) y MLX para una inferencia rápida y eficiente, completamente local en tu máquina.
Configuración
En esta sección, se te guía para solicitar acceso al modelo, descargar e instalar el software de LM Studio, y cargar un modelo de Gemma en LM Studio.
Descarga e instala LM Studio
Descarga el instalador para macOS, Windows o Linux desde el sitio web de LM Studio.
Después de completar la descarga y ejecutar el instalador, abre la aplicación de LM Studio y haz clic en los distintos elementos para familiarizarte con la interfaz. Para descargar modelos, presiona Cmd + Mayúsculas + M en Mac o Ctrl + Mayúsculas + M en PC.
Descarga modelos de Gemma para ejecutarlos de forma local
Los modelos de Gemma son muy populares entre los usuarios de LLM locales gracias a su huella de memoria mínima y sus potentes capacidades, como la generación de texto, el seguimiento de instrucciones, el uso de herramientas y, en algunos casos, la comprensión de imágenes. Explora los modelos seleccionados por el personal dentro de la app o en https://lmstudio.ai/models y encuentra los modelos de Gemma que se adapten a tu máquina. También puedes buscar y descargar modelos de Gemma desde la app de LM Studio o con la CLI de lms (obtén más información).
Cómo usar el descargador de modelos integrado en LM Studio
- Abre la app de LM Studio y busca cualquier modelo presionando ⌘ + Mayúsculas + M en Mac o Ctrl + Mayúsculas + M en PC.
- Busca "Gemma".
- Elige un resultado que te parezca interesante y LM Studio te sugerirá la variante adecuada para tu hardware.
- Haz clic en Descargar. Una vez que finalice la descarga, carga el modelo para usarlo en un chat nuevo.
Opciones avanzadas: Usa tu propio archivo de modelo de Gemma en formato GGUF convertido
Si convertiste un modelo de Gemma a GGUF por tu cuenta, puedes usar la CLI de LM Studio lms para cargar tu modelo en LM Studio.
- Usar:
lms import <path/to/model.gguf>
- LM Studio detectará automáticamente el modelo y se completará en la aplicación en "My Models".
- Ajusta la longitud del contexto y la configuración del hardware según sea necesario.
Si lms import no funciona automáticamente, aún puedes importar modelos a LM Studio de forma manual. Obtén más información sobre la estructura del directorio de modelos de LM Studio en "Import Models".
Una vez que el modelo haya terminado de cargarse (como lo indica la barra de progreso), puedes comenzar a chatear en LM Studio.
Entrega el modelo a través del servidor de LM Studio
Entrega a través de la GUI de LM Studio
En la aplicación de LM Studio, ve a la pestaña Developer y, luego, presiona Cmd/Ctrl + L para abrir el cargador de modelos. Aquí puedes ver una lista de los modelos descargados y seleccionar uno para cargarlo. De forma predeterminada, LM Studio seleccionará los parámetros de carga que optimizan el rendimiento del modelo en tu hardware.
Cómo publicar a través de la CLI de LM Studio
Si prefieres trabajar en la terminal, usa la CLI de LM Studio para interactuar con tus modelos. Consulta la lista de comandos en "lms".
Primero, carga un modelo de Gemma que descargaste ejecutando el siguiente comando:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
¡Ya puedes comenzar! Usa las APIs de REST de LM Studio para usar los modelos de Gemma de forma programática desde tu propio código.
Obtén más información para hacerlo https://lmstudio.ai/docs/developer.
Apéndice
Cómo obtener un modelo de Hugging Face
Primero, habilita LM Studio en la Configuración de apps locales en Hugging Face.
En la tarjeta del modelo, haz clic en el menú desplegable “Usar este modelo” y selecciona LM Studio. Esto ejecutará el modelo directamente en LM Studio si ya lo tienes, o te mostrará una opción de descarga si no lo tienes.