LM Studio ist eine benutzerfreundliche und dennoch leistungsstarke Desktopanwendung, mit der Sie lokale KI-Modelle direkt auf Ihrem Computer testen und entwickeln können. LM Studio unterstützt Gemma-Modelle sowohl im GGUF-Format (llama.cpp) als auch im MLX-Format für schnelle und effiziente Inferenzen, die vollständig lokal auf Ihrem Computer ausgeführt werden.
Einrichtung
In diesem Abschnitt erfahren Sie, wie Sie den Modellzugriff anfordern, die LM Studio-Software herunterladen und installieren und ein Gemma-Modell in LM Studio laden.
LM Studio herunterladen und installieren
Laden Sie das Installationsprogramm für macOS, Windows oder Linux von der LM Studio-Website herunter.
Nachdem Sie den Download abgeschlossen und das Installationsprogramm ausgeführt haben, öffnen Sie die LM Studio-Anwendung und klicken Sie sich durch die Benutzeroberfläche, um sich damit vertraut zu machen. Wenn Sie Modelle herunterladen möchten, drücken Sie auf dem Mac „Cmd + Umschalt + M“ oder auf dem PC „Strg + Umschalt + M“.
Gemma-Modelle für die lokale Ausführung herunterladen
Gemma-Modelle sind bei Nutzern lokaler LLMs sehr beliebt, da sie nur wenig Speicherplatz benötigen und leistungsstarke Funktionen bieten, darunter Textgenerierung, Befolgung von Anweisungen, Verwendung von Tools und in einigen Fällen Bildverständnis. Sehen Sie sich die von Mitarbeitern ausgewählten Modelle in der App oder unter https://lmstudio.ai/models an und suchen Sie nach Gemma-Modellen, die zu Ihrem Computer passen. Sie können auch in der LM Studio-App nach Gemma-Modellen suchen und sie herunterladen oder die lms-CLI verwenden (weitere Informationen).
In-App-Modell-Downloader von LM Studio verwenden
- Öffnen Sie die LM Studio App und suchen Sie nach einem beliebigen Modell, indem Sie auf dem Mac ⌘ + Umschalt + M oder auf dem PC Strg + Umschalt + M drücken.
- Nach „Gemma“ suchen
- Wählen Sie ein interessantes Ergebnis aus. LM Studio schlägt dann die passende Variante für Ihre Hardware vor.
- Klicken Sie auf Herunterladen. Laden Sie das Modell nach Abschluss des Downloads, um es in einem neuen Chat zu verwenden.
Erweitert: Eigene konvertierte GGUF-Gemma-Modelldatei verwenden
Wenn Sie ein Gemma-Modell selbst in GGUF konvertiert haben, können Sie die CLI lms von LM Studio verwenden, um das Modell in LM Studio zu laden.
- Verwendungszweck:
lms import <path/to/model.gguf>
- LM Studio erkennt das Modell automatisch und es wird in der Anwendung unter „Meine Modelle“ angezeigt.
- Passen Sie die Kontextlänge und die Hardwareeinstellungen nach Bedarf an.
Wenn lms import nicht automatisch funktioniert, können Sie Modelle weiterhin manuell in LM Studio importieren. Weitere Informationen zur Struktur des Modellverzeichnisses von LM Studio finden Sie unter Modelle importieren.
Sobald das Modell geladen wurde (siehe Fortschrittsanzeige), können Sie mit dem Chatten in LM Studio beginnen.
Modell über den Server von LM Studio bereitstellen
Über die GUI von LM Studio bereitstellen
Rufen Sie in der LM Studio-Anwendung den Tab „Developer“ (Entwickler) auf und drücken Sie dann Cmd / Strg + L, um den Modell-Loader zu öffnen. Hier können Sie eine Liste der heruntergeladenen Modelle aufrufen und eines zum Laden auswählen. LM Studio wählt standardmäßig die Ladeparameter aus, die die Modellleistung auf Ihrer Hardware optimieren.
Über die CLI von LM Studio bereitstellen
Wenn Sie lieber im Terminal arbeiten, können Sie die CLI von LM Studio verwenden, um mit Ihren Modellen zu interagieren. Eine Liste der Befehle finden Sie unter lms.
Laden Sie zuerst ein heruntergeladenes Gemma-Modell:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
Jetzt kann es losgehen! Verwenden Sie die REST APIs von LM Studio, um Gemma-Modelle programmatisch über Ihren eigenen Code zu nutzen.
Weitere Informationen dazu finden Sie unter https://lmstudio.ai/docs/developer.
Anhang
Modell von Hugging Face abrufen
Aktivieren Sie zuerst LM Studio in den Local Apps Settings (Einstellungen für lokale Apps) in Hugging Face.
Klicken Sie auf der Modellkarte auf das Drop-down-Menü „Dieses Modell verwenden“ und wählen Sie „LM Studio“ aus. Das Modell wird dann direkt in LM Studio ausgeführt, sofern Sie es bereits haben. Andernfalls wird eine Downloadoption angezeigt.