LM Studio היא אפליקציה ידידותית אך עוצמתית למחשב, שמאפשרת לכם להתנסות במודלים של AI מקומיים ולפתח אותם ישירות במחשב. LM Studio תומך במודלים של Gemma בפורמטים GGUF (llama.cpp) ו-MLX להסקת מסקנות מהירה ויעילה, באופן מקומי לחלוטין במחשב שלכם.
הגדרה
בקטע הזה מוסבר איך לבקש גישה למודל, להוריד ולהתקין את תוכנת LM Studio ולטעון מודל Gemma ל-LM Studio.
הורדה והתקנה של LM Studio
מורידים את קובץ ההתקנה ל-macOS, ל-Windows או ל-Linux מהאתר של LM Studio.
אחרי שמסיימים את ההורדה ומריצים את קובץ ההתקנה, פותחים את אפליקציית LM Studio ומתנסים בה כדי להכיר את הממשק. כדי להוריד מודלים, מקישים על Cmd + Shift + M ב-Mac, או על Ctrl + Shift + M במחשב.
הורדת מודלים של Gemma להרצה מקומית
מודלים של Gemma פופולריים מאוד בקרב משתמשי LLM מקומיים, בזכות טביעת הזיכרון המינימלית שלהם והיכולות המתקדמות שלהם, כולל יצירת טקסט, ביצוע הוראות, שימוש בכלים ובמקרים מסוימים הבנת תמונות. אפשר לעיין במודלים שנבחרו על ידי הצוות בתוך האפליקציה או בכתובת https://lmstudio.ai/models ולמצוא מודלים של Gemma שמתאימים למחשב שלכם. אפשר גם לחפש ולהוריד מודלים של Gemma מתוך אפליקציית LM Studio או באמצעות lms CLI (מידע נוסף).
שימוש בכלי להורדת מודלים בתוך האפליקציה LM Studio
- פותחים את אפליקציית LM Studio ומחפשים מודל כלשהו על ידי הקשה על ⌘ + Shift + M ב-Mac או על Ctrl + Shift + M במחשב.
- מחפשים את Gemma.
- בוחרים תוצאה שנראית מעניינת, ו-LM Studio יציע את הגרסה המתאימה לחומרה שלכם.
- לוחצים על הורדה. אחרי שההורדה מסתיימת, טוענים את המודל כדי להשתמש בו בשיחה חדשה.
מתקדם: שימוש בקובץ מודל GGUF Gemma שהומר
אם המרתם מודל Gemma ל-GGUF בעצמכם, אתם יכולים להשתמש ב-CLI של LM Studio lms כדי לטעון את המודל ל-LM Studio.
- שימוש:
lms import <path/to/model.gguf>
- LM Studio יזהה באופן אוטומטי את המודל והוא יופיע באפליקציה בקטע 'המודלים שלי'.
- משנים את אורך ההקשר ואת הגדרות החומרה לפי הצורך.
אם lms import לא עובד באופן אוטומטי, עדיין אפשר לייבא מודלים ל-LM Studio באופן ידני. מידע נוסף על מבנה ספריית המודלים של LM Studio זמין במאמר בנושא ייבוא מודלים.
אחרי שהמודל יסיים להיטען (כפי שמצוין בסרגל ההתקדמות), תוכלו להתחיל לשוחח ב-LM Studio.
הצגת המודל דרך השרת של LM Studio
הצגה באמצעות ממשק המשתמש הגרפי של LM Studio
באפליקציית LM Studio, עוברים לכרטיסייה Developer (מפתחים) ואז מקישים על Cmd / Ctrl + L כדי לפתוח את טוען המודלים. כאן אפשר לראות רשימה של מודלים שהורדו ולבחור מודל לטעינה. כברירת מחדל, LM Studio יבחר את פרמטרי הטעינה שמבצעים אופטימיזציה של ביצועי המודל בחומרה שלכם.
הצגה באמצעות LM Studio's CLI
אם אתם מעדיפים לעבוד בטרמינל, אתם יכולים להשתמש בממשק שורת הפקודה (CLI) של LM Studio כדי ליצור אינטראקציה עם המודלים. רשימת הפקודות זמינה במאמר lms.
קודם כול, טוענים מודל Gemma שהורדתם על ידי הרצת הפקודה:
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
הכול מוכן! שימוש בממשקי ה-API של LM Studio כדי להשתמש במודלים של Gemma באופן פרוגרמטי מהקוד שלכם.
מידע נוסף על התהליך זמין בכתובת https://lmstudio.ai/docs/developer.
נספח
קבלת מודל מ-Hugging Face
קודם צריך להפעיל את LM Studio בהגדרות Local Apps ב-Hugging Face.
בכרטיס המודל, לוחצים על התפריט הנפתח 'שימוש במודל הזה' ובוחרים באפשרות LM Studio. אם כבר יש לכם את המודל, הוא יופעל ישירות ב-LM Studio. אם לא, תוצג לכם אפשרות להורדה.