ติดตั้งใช้งาน Gemma บนอุปกรณ์เคลื่อนที่

เอกสารนี้สรุปวิธีการและเครื่องมือต่างๆ สำหรับการติดตั้งใช้งานและเรียกใช้โมเดล Gemma ในอุปกรณ์เคลื่อนที่ รวมถึงการใช้แอป Google AI Edge Gallery และ MediaPipe LLM Inference API

ดูข้อมูลเกี่ยวกับการแปลงโมเดล Gemma ที่ปรับแต่งแล้วเป็นเวอร์ชัน LiteRT ได้ที่คู่มือการแปลง

หากต้องการดูการทำงานของ LLM Inference API และทดสอบโมเดล Task Bundle คุณสามารถ ใช้แอป Google AI Edge Gallery แอปนี้มีอินเทอร์เฟซผู้ใช้สำหรับการโต้ตอบกับ LLM ในอุปกรณ์ ซึ่งช่วยให้คุณทำสิ่งต่อไปนี้ได้

  • นำเข้าโมเดล: โหลดโมเดล .task ที่กำหนดเองลงในแอป
  • กำหนดค่าพารามิเตอร์: ปรับการตั้งค่า เช่น อุณหภูมิและ top-k
  • สร้างข้อความ: ป้อนพรอมต์และดูคำตอบของโมเดล
  • ทดสอบประสิทธิภาพ: ประเมินความเร็วและความแม่นยำของโมเดล

ดูคำแนะนำโดยละเอียดเกี่ยวกับวิธีใช้แอป Google AI Edge Gallery รวมถึง วิธีการนำเข้าโมเดลของคุณเองได้ในเอกสารประกอบของแอป

LLM ของ MediaPipe

คุณเรียกใช้โมเดล Gemma ในอุปกรณ์เคลื่อนที่ได้ด้วย MediaPipe LLM Inference API LLM Inference API ทำหน้าที่เป็น Wrapper สำหรับโมเดลภาษาขนาดใหญ่ ซึ่งช่วยให้คุณเรียกใช้โมเดล Gemma บนอุปกรณ์สำหรับงานสร้างข้อความต่อข้อความทั่วไป เช่น การดึงข้อมูล การร่างอีเมล และการสรุปเอกสาร

LLM Inference API พร้อมใช้งานบนแพลตฟอร์มอุปกรณ์เคลื่อนที่ต่อไปนี้

ดูข้อมูลเพิ่มเติมได้ที่เอกสารประกอบการอนุมาน LLM ของ MediaPipe