LM Studio เป็นแอปพลิเคชันเดสก์ท็อปที่ใช้งานง่ายแต่ทรงพลัง สำหรับการทดลองและพัฒนาโมเดล AI ในเครื่องบนคอมพิวเตอร์ของคุณโดยตรง LM Studio รองรับโมเดล Gemma ทั้งในรูปแบบ GGUF (llama.cpp) และ MLX เพื่อการอนุมานที่รวดเร็วและมีประสิทธิภาพในเครื่องของคุณโดยสมบูรณ์
ตั้งค่า
ส่วนนี้จะแนะนำวิธีขอสิทธิ์เข้าถึงโมเดล ดาวน์โหลดและ ติดตั้งซอฟต์แวร์ LM Studio รวมถึงโหลดโมเดล Gemma ลงใน LM Studio
ดาวน์โหลดและติดตั้ง LM Studio
ดาวน์โหลดโปรแกรมติดตั้งสำหรับ macOS, Windows หรือ Linux จากเว็บไซต์ LM Studio
หลังจากดาวน์โหลดและเรียกใช้โปรแกรมติดตั้งเสร็จแล้ว ให้เปิดแอปพลิเคชัน LM Studio แล้วคลิกเพื่อทำความคุ้นเคยกับอินเทอร์เฟซ หากต้องการ ดาวน์โหลดโมเดล ให้กด Cmd + Shift + M บน Mac หรือ Ctrl + Shift + M บน PC
ดาวน์โหลดโมเดล Gemma เพื่อเรียกใช้ในเครื่อง
โมเดล Gemma ได้รับความนิยมอย่างมากในหมู่ผู้ใช้ LLM ในเครื่อง เนื่องจากมีร่องรอยหน่วยความจำน้อยที่สุดและมีความสามารถอันทรงพลัง ซึ่งรวมถึงการสร้างข้อความ การปฏิบัติตามคำสั่ง การใช้เครื่องมือ และในบางกรณีก็มีความสามารถในการทำความเข้าใจรูปภาพด้วย สำรวจโมเดลที่ทีมงานเลือก ในแอปหรือที่ https://lmstudio.ai/models และค้นหา โมเดล Gemma ที่เหมาะกับเครื่องของคุณ นอกจากนี้ คุณยังค้นหาและดาวน์โหลดโมเดล Gemma ได้จากภายในแอป LM Studio หรือโดยใช้ lms CLI (ดูข้อมูลเพิ่มเติม)
การใช้ตัวดาวน์โหลดโมเดลในแอปของ LM Studio
- เปิดแอป LM Studio แล้วค้นหารุ่นใดก็ได้โดยกด ⌘ + Shift + M ใน Mac หรือ Ctrl + Shift + M ใน PC
- ค้นหา "Gemma"
- เลือกผลลัพธ์ที่ดูน่าสนใจ แล้ว LM Studio จะแนะนำ ตัวแปรที่เหมาะสมกับฮาร์ดแวร์ของคุณ
- คลิกดาวน์โหลด หลังจากดาวน์โหลดเสร็จแล้ว ให้โหลดโมเดลเพื่อใช้ในแชทใหม่
ขั้นสูง: ใช้ไฟล์โมเดล Gemma ที่แปลงเป็น GGUF ของคุณเอง
หากคุณแปลงโมเดล Gemma เป็น GGUF ด้วยตนเอง คุณสามารถใช้ CLI ของ LM Studio
lms เพื่อโหลดโมเดลลงใน LM Studio ได้
- ใช้
lms import <path/to/model.gguf>
- LM Studio จะตรวจหาโมเดลโดยอัตโนมัติและจะแสดงในแอปพลิเคชันในส่วน "โมเดลของฉัน"
- ปรับความยาวบริบทและการตั้งค่าฮาร์ดแวร์ตามต้องการ
หาก lms import ไม่ทำงานโดยอัตโนมัติ คุณจะยังคงนำเข้าโมเดลไปยัง LM Studio ด้วยตนเองได้
อ่านเพิ่มเติมเกี่ยวกับโครงสร้างไดเรกทอรีโมเดลของ LM Studio ได้ที่ "นำเข้าโมเดล"
เมื่อโมเดลโหลดเสร็จสมบูรณ์แล้ว (ตามที่ระบุไว้ในแถบความคืบหน้า) คุณจะเริ่มแชทใน LM Studio ได้เลย
แสดงโมเดลผ่านเซิร์ฟเวอร์ของ LM Studio
แสดงผ่าน GUI ของ LM Studio
ในแอปพลิเคชัน LM Studio ให้ไปที่แท็บนักพัฒนาซอฟต์แวร์ แล้วกด Cmd / Ctrl + L เพื่อเปิดโปรแกรมโหลดโมเดล ที่นี่คุณจะเห็นรายการโมเดลที่ดาวน์โหลด และเลือกโมเดลที่จะโหลดได้ โดยค่าเริ่มต้น LM Studio จะเลือกพารามิเตอร์การโหลด ที่เพิ่มประสิทธิภาพโมเดลในฮาร์ดแวร์ของคุณ
แสดงผ่าน CLI ของ LM Studio
หากต้องการทำงานในเทอร์มินัล ให้ใช้ CLI ของ LM Studio เพื่อโต้ตอบกับโมเดล ดูรายการคำสั่งได้ที่ "lms"
ก่อนอื่น ให้โหลดโมเดล Gemma ที่คุณดาวน์โหลดมาโดยเรียกใช้คำสั่งต่อไปนี้
lms load <model_key>
``` You can find the model_key by first running
`lms ls` to list your locally downloaded models.
Next, turn on LM Studio's local API server by running:
```bash
lms server start
ตอนนี้คุณก็พร้อมใช้งานแล้ว ใช้ REST API ของ LM Studio เพื่อใช้โมเดล Gemma แบบเป็นโปรแกรมจากโค้ดของคุณเอง
ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีดำเนินการนี้ได้ที่ https://lmstudio.ai/docs/developer
ภาคผนวก
การรับโมเดลจาก Hugging Face
ก่อนอื่น ให้เปิดใช้ LM Studio ในส่วนแอปในเครื่อง การตั้งค่าใน Hugging Face
ในการ์ดโมเดล ให้คลิกเมนูแบบเลื่อนลง "ใช้โมเดลนี้" แล้วเลือก LM Studio ซึ่งจะเรียกใช้โมเดลใน LM Studio โดยตรงหากคุณมีอยู่แล้ว หรือแสดงตัวเลือกดาวน์โหลดหากคุณยังไม่มี