LM Studio est une application de bureau conviviale et puissante qui vous permet de tester et de développer des modèles d'IA locaux directement sur votre ordinateur. LM Studio est compatible avec les modèles Gemma aux formats GGUF (llama.cpp) et MLX pour une inférence rapide et efficace, entièrement en local sur votre machine.
Configuration
Cette section vous explique comment demander l'accès à un modèle, télécharger et installer le logiciel LM Studio, et charger un modèle Gemma dans LM Studio.
Télécharger et installer LM Studio
Téléchargez le programme d'installation pour macOS, Windows ou Linux sur le site Web de LM Studio.
Une fois le téléchargement terminé et le programme d'installation exécuté, ouvrez l'application LM Studio et cliquez sur les différents éléments pour vous familiariser avec l'interface. Pour télécharger des modèles, appuyez sur Cmd+Maj+M sur Mac ou Ctrl+Maj+M sur PC.
Télécharger des modèles Gemma pour les exécuter en local
Les modèles Gemma sont très populaires auprès des utilisateurs de LLM locaux grâce à leur faible empreinte mémoire et à leurs puissantes capacités, y compris la génération de texte, le suivi d'instructions, l'utilisation d'outils et, dans certains cas, la compréhension d'images. Explorez les modèles sélectionnés par l'équipe dans l'application ou sur https://lmstudio.ai/models, et trouvez les modèles Gemma qui conviennent à votre machine. Vous pouvez également rechercher et télécharger des modèles Gemma depuis l'application LM Studio ou à l'aide de la CLI lms (en savoir plus).
Utiliser le programme de téléchargement de modèles intégré à LM Studio
- Ouvrez l'application LM Studio et recherchez un modèle en appuyant sur ⌘+Maj+M sur Mac ou Ctrl+Maj+M sur PC.
- Recherchez "Gemma".
- Choisissez un résultat qui vous semble intéressant. LM Studio vous suggérera la variante adaptée à votre matériel.
- Cliquez sur Télécharger. Une fois le téléchargement terminé, chargez le modèle pour l'utiliser dans une nouvelle discussion.
Avancé : utiliser votre propre fichier de modèle Gemma converti au format GGUF
Si vous avez converti vous-même un modèle Gemma au format GGUF, vous pouvez utiliser la CLI lms de LM Studio pour charger votre modèle dans LM Studio.
- Utilisation :
lms import <path/to/model.gguf>
- LM Studio détecte automatiquement le modèle et le renseigne dans l'application sous "My Models" (Mes modèles).
- Ajustez la longueur du contexte et les paramètres matériels selon vos besoins.
Si lms import ne fonctionne pas automatiquement, vous pouvez toujours importer manuellement des modèles dans LM Studio. Pour en savoir plus sur la structure du répertoire de modèles de LM Studio, consultez Importer des modèles.
Une fois le modèle chargé (comme indiqué par la barre de progression), vous pouvez commencer à discuter dans LM Studio.
Diffuser le modèle via le serveur LM Studio
Diffuser via l'interface utilisateur graphique de LM Studio
Dans l'application LM Studio, accédez à l'onglet "Developer" (Développeur), puis appuyez sur Cmd/Ctrl+L pour ouvrir le chargeur de modèle. Vous pouvez y consulter la liste des modèles téléchargés et en sélectionner un à charger. Par défaut, LM Studio sélectionne les paramètres de chargement qui optimisent les performances du modèle sur votre matériel.
Diffuser via l'interface de ligne de commande de LM Studio
Si vous préférez travailler dans le terminal, utilisez l'interface de ligne de commande de LM Studio pour interagir avec vos modèles. Consultez la liste des commandes sur lms.
Commencez par charger un modèle Gemma que vous avez téléchargé en exécutant la commande suivante :
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Vous êtes prêt à vous lancer ! Utilisez les API REST de LM Studio pour utiliser les modèles Gemma de manière programmatique à partir de votre propre code.
Pour en savoir plus, consultez https://lmstudio.ai/docs/developer.
Annexe
Obtenir un modèle depuis Hugging Face
Commencez par activer LM Studio dans les paramètres des applications locales de Hugging Face.
Sur la fiche du modèle, cliquez sur le menu déroulant "Utiliser ce modèle", puis sélectionnez "LM Studio". Le modèle s'exécutera directement dans LM Studio si vous l'avez déjà, ou une option de téléchargement s'affichera si ce n'est pas le cas.