เรียกใช้ Gemma กับ Ollama

การใช้โมเดลปัญญาประดิษฐ์แบบ Generative (Generative AI) เช่น Gemma อาจเป็นเรื่องยากหากไม่มีฮาร์ดแวร์ที่เหมาะสม เฟรมเวิร์กโอเพนซอร์ส เช่น llama.cpp และ Ollama ช่วยให้คุณทําสิ่งต่างๆ ได้ง่ายขึ้นด้วยการตั้งค่าสภาพแวดล้อมรันไทม์ที่กำหนดค่าไว้ล่วงหน้า ซึ่งช่วยให้คุณเรียกใช้ Gemma เวอร์ชันต่างๆ ด้วยทรัพยากรการประมวลผลที่น้อยลงได้ อันที่จริงแล้ว เมื่อใช้ llama.cpp และ Ollama คุณจะใช้งาน Gemma เวอร์ชันต่างๆ ในแล็ปท็อปหรืออุปกรณ์คอมพิวเตอร์ขนาดเล็กอื่นๆ ได้โดยไม่ต้องมีหน่วยประมวลผลกราฟิก (GPU)

เพื่อเรียกใช้โมเดล Gemma ด้วยทรัพยากรการประมวลผลที่น้อยลง เฟรมเวิร์ก llama.cpp และ Ollama จะใช้โมเดลเวอร์ชันแปลงค่าในรูปแบบไฟล์โมเดลรูปแบบรวม (GGUF) ที่ GPT สร้างขึ้น โมเดลที่มีการแปลงค่าเหล่านี้ได้รับการแก้ไขเพื่อประมวลผลคําขอโดยใช้ข้อมูลที่เล็กลงและไม่แม่นยํา การใช้ข้อมูลที่แม่นยำน้อยกว่าในโมเดลที่แปลงเป็นจำนวนเต็มเพื่อประมวลผลคําขอมักจะทําให้คุณภาพของเอาต์พุตของโมเดลลดลง แต่มีข้อดีคือช่วยลดต้นทุนทรัพยากรการประมวลผลด้วย

คู่มือนี้จะอธิบายวิธีตั้งค่าและใช้ Ollama เพื่อเรียกใช้ Gemma เพื่อสร้างคำตอบที่เป็นข้อความ

ตั้งค่า

ส่วนนี้จะอธิบายวิธีตั้งค่า Ollama และเตรียมอินสแตนซ์โมเดล Gemma เพื่อตอบสนองต่อคําขอ ซึ่งรวมถึงการขอสิทธิ์เข้าถึงโมเดล การติดตั้งซอฟต์แวร์ และการกําหนดค่าโมเดล Gemma ใน Ollama

รับสิทธิ์เข้าถึงโมเดล Gemma

ก่อนใช้งานโมเดล Gemma โปรดตรวจสอบว่าคุณได้ขอสิทธิ์เข้าถึงผ่าน Kaggle และอ่านข้อกำหนดในการใช้งาน Gemma แล้ว

ติดตั้ง Ollama

คุณต้องดาวน์โหลดและติดตั้งซอฟต์แวร์ Ollama ในอุปกรณ์คอมพิวเตอร์ก่อนจึงจะใช้ Gemma กับ Ollama ได้

วิธีดาวน์โหลดและติดตั้ง Ollama

  1. ไปที่หน้าดาวน์โหลด https://ollama.com/download
  2. เลือกระบบปฏิบัติการ คลิกปุ่มดาวน์โหลด หรือทำตามวิธีการในหน้าดาวน์โหลด
  3. ติดตั้งแอปพลิเคชันโดยเรียกใช้โปรแกรมติดตั้ง
    • Windows: เรียกใช้ไฟล์โปรแกรมติดตั้ง *.exe แล้วทำตามวิธีการ
    • Mac: แตกไฟล์ ZIP และย้ายโฟลเดอร์แอปพลิเคชัน Ollama ไปยังไดเรกทอรีแอปพลิเคชัน
    • Linux: ทำตามวิธีการในเครื่องมือติดตั้งสคริปต์ Bash

  4. ยืนยันว่าติดตั้ง Ollama แล้วโดยเปิดหน้าต่างเทอร์มินัลและป้อนคําสั่งต่อไปนี้

    ollama --version

คุณควรเห็นการตอบกลับที่คล้ายกับ ollama version is #.#.## หากไม่เห็นผลลัพธ์นี้ ให้ตรวจสอบว่าได้เพิ่มไฟล์ปฏิบัติการ Ollama ลงในเส้นทางของระบบปฏิบัติการแล้ว

กำหนดค่า Gemma ใน Ollama

แพ็กเกจการติดตั้ง Ollama จะไม่มีโมเดลใดๆ โดยค่าเริ่มต้น คุณสามารถดาวน์โหลดโมเดลได้โดยใช้คําสั่ง pull

วิธีกำหนดค่า Gemma ใน Ollama

  1. ดาวน์โหลดและกําหนดค่าตัวแปร Gemma 2 เริ่มต้นโดยเปิดหน้าต่างเทอร์มินัลและป้อนคําสั่งต่อไปนี้

    ollama pull gemma2

  2. หลังจากดาวน์โหลดเสร็จแล้ว คุณสามารถตรวจสอบว่าโมเดลพร้อมใช้งานแล้วด้วยคำสั่งต่อไปนี้

    ollama list

โดยค่าเริ่มต้น Ollama จะดาวน์โหลดตัวแปรรูปแบบ Gemma ที่มีการแปลงค่าเป็น 4 บิต (Q4_0) ของพารามิเตอร์ 9,000 ล้านรายการ นอกจากนี้ คุณยังดาวน์โหลดและใช้โมเดล Gemma ขนาดอื่นๆ ได้โดยระบุขนาดพารามิเตอร์

โมเดลจะระบุเป็น <model_name>:<tag> สําหรับ Gemma 2 รุ่น 2 พันล้านพารามิเตอร์ ให้ป้อน gemma2:2b สําหรับโมเดลพารามิเตอร์ 27, 000 ล้านรายการ ให้ป้อน gemma2:27b คุณดูแท็กที่ใช้ได้บนเว็บไซต์ Ollama ซึ่งรวมถึง Gemma 2 และ Gemma

สร้างคำตอบ

เมื่อติดตั้งโมเดล Gemma ใน Ollama เสร็จแล้ว คุณสามารถสร้างคำตอบได้ทันทีโดยใช้คำสั่ง run ของอินเทอร์เฟซบรรทัดคำสั่งของ Ollama Ollama จะกําหนดค่าเว็บเซอร์วิสสําหรับการเข้าถึงโมเดลด้วย ซึ่งคุณสามารถทดสอบได้โดยใช้คําสั่ง curl

วิธีสร้างการตอบกลับจากบรรทัดคำสั่ง

  • ในหน้าต่างเทอร์มินัล ให้ป้อนคำสั่งต่อไปนี้

    ollama run gemma2 "roses are red"

วิธีสร้างการตอบกลับโดยใช้บริการเว็บในพื้นที่ของ Ollama

  • ในหน้าต่างเทอร์มินัล ให้ป้อนคำสั่งต่อไปนี้

    curl http://localhost:11434/api/generate -d '{\
  "model": "gemma2",\
  "prompt":"roses are red"\
}'

โมเดล Gemma ที่ปรับแต่งแล้ว

Ollama มีชุดตัวแปรโมเดล Gemma อย่างเป็นทางการให้ใช้งานทันที ซึ่งได้รับการแปลงเป็นจำนวนและบันทึกในรูปแบบ GGUF คุณสามารถใช้โมเดล Gemma ที่ปรับแต่งเองกับ Ollama ได้โดยแปลงเป็นรูปแบบ GGUF Ollama มีฟังก์ชันบางอย่างเพื่อแปลงโมเดลที่ปรับแต่งแล้วจากรูปแบบ Modelfile เป็น GGUF ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีแปลงโมเดลที่ปรับแต่งแล้วเป็น GGUF ได้ที่ README ของ Ollama

ขั้นตอนถัดไป

เมื่อ Gemma ทํางานร่วมกับ Ollama แล้ว คุณสามารถเริ่มทดสอบและสร้างโซลูชันด้วยความสามารถ Generative AI ของ Gemma อินเทอร์เฟซบรรทัดคำสั่งสําหรับ Ollama อาจมีประโยชน์ในการสร้างโซลูชันสคริปต์ อินเทอร์เฟซบริการเว็บในเครื่องของ Ollama อาจมีประโยชน์ในการสร้างแอปพลิเคชันทดลองและการใช้งานในปริมาณต่ำ