MAG

การทำงาน

MAG เป็นอุปกรณ์เสริมสำหรับเดสก์ท็อปส่วนตัว โดยหุ่นยนต์จะพูดคุยกับคุณ ช่วยเตือนให้ทำสิ่งต่างๆ ดูแลสุขภาพ ช่วยทำอาหารแสนอร่อย โดยจะจดจำข้อมูลต่างๆ เช่น สุขภาพ ความชอบ และปรับเปลี่ยนลักษณะการทำงานให้เหมาะสม แอปจะดู(ผ่านกล้อง) อาหารที่คุณถืออยู่และแสดงข้อมูลโภชนาการและสูตรอาหาร
แอปสร้างขึ้นเป็นแอป Android ที่ทำงานใน ROM ที่กำหนดเองใน Raspberry PI ฮาร์ดแวร์ที่เหลือจะกลายเป็นเพื่อนของคุณ แอปนี้เข้าถึงอุปกรณ์ด้านการดูแลสุขภาพได้ เช่น เครื่องวัดความอิ่มตัวของออกซิเจนในเลือด (Pulse Oximeter), ECG ฯลฯ แต่สามารถทำงานในอุปกรณ์เคลื่อนที่ได้ด้วยเนื่องจากเป็นแอป Android ที่มีฟังก์ชันการทำงานแบบจำกัด
ระบบจะแปลงคำพูดเป็นข้อความและส่งไปยัง Gemini เพื่อรับคำตอบ ระบบจะส่งรูปภาพจากกล้องไปยัง Gemini ด้วย ซึ่งความสามารถแบบหลายโมเดลของ Gemini จะช่วยให้การโต้ตอบมีความหลากหลายและชาญฉลาด
ระบบจะใช้ Firebase เพื่อจัดเก็บการสนทนาและสำหรับการเรียกข้อมูล ปฏิทิน การช่วยเตือน ฯลฯ ระบบจะใช้การค้นหาเวกเตอร์ของ Firebase เพื่อค้นหาผ่านความทรงจำของ MAG เพื่อให้ตอบกลับคุณได้อย่างเหมาะสม