DeepLook

การทำงาน

DeepLook เป็นแพลตฟอร์มนวัตกรรมที่ใช้โมเดล Gemini เพื่อเพิ่มฟังก์ชันการทำงานของ Generative AI ให้กับวิดีโอเฝ้าระวังและการวิเคราะห์ ฟังก์ชันการทำงานเหล่านี้มีตั้งแต่การควบคุมอินเทอร์เฟซ UI ผ่านแชทหรือเสียงไปจนถึงการวิเคราะห์วิดีโออัจฉริยะและการตรวจจับเหตุการณ์ในกล้อง DeepLook ทำงานได้โดยใช้ภาษาที่เป็นธรรมชาติ เช่น เปิดกล้องอย่างรวดเร็ว เข้าถึงไฟล์บันทึก และส่งออกวิดีโอโดยไม่ต้องใช้เมนูและวิดเจ็ตที่หายาก และที่สำคัญที่สุดคือ คุณสามารถถามและตอบคำถามเกี่ยวกับกล้องสด สรุปไฟล์บันทึกที่ผ่านมา ตรวจจับวัตถุ และแม้แต่แจ้งให้ครอบครัวทราบว่าคนอยู่คนเดียวเป็นอย่างไรบ้างผ่านการวิเคราะห์จาก Vision นอกจากนี้ ยังทริกเกอร์เหตุการณ์ตามประโยคได้ เช่น "มีคนตกไหม" "แจ้งเตือนหากมีอาวุธปรากฏขึ้น" หรือการวิเคราะห์สถานการณ์ในบริบทของการดูแลผู้สูงอายุ เช่น การตรวจสอบผู้สูงอายุ

นอกจากนี้ DeepLook ยังแจ้งเตือนผู้ใช้หากเกิดเหตุการณ์ที่บันทึกไว้ และทำการเคลื่อนกล้อง PTZ ด้วยตนเองหรืออัตโนมัติ เช่น การจัดกล้องให้อยู่ตรงกลางวัตถุในเฟรมที่กำหนดไว้โดยอัตโนมัติ
 
ระบบจะทำงานร่วมกับ Gemini-Flash เป็นหลักเนื่องจากอัตราส่วนต้นทุน-ผลลัพธ์ การแยกวิเคราะห์คําสั่งอาศัยการเรียกฟังก์ชัน AI ของ Vertex เป็นอย่างมาก การวิเคราะห์รูปภาพใช้ได้กับตัวอย่างวิดีโอและภาพโมเสคที่แบ่งออกเป็นส่วนๆ ซึ่งส่งผ่านพรอมต์ไปยัง API ของโมเดล DeepLook จะมีเวอร์ชันเว็บและ Android เซิร์ฟเวอร์สามารถทำงานบน Firebase App Host และ Cloud Run โดยใช้ตัวแทนที่เชื่อมต่อกล้องในเครื่อง ซึ่งทำหน้าที่เป็นบริดจ์ระหว่างกล้องกับเซิร์ฟเวอร์