1PUL

การทำงาน

1PUL (1st Place You Look ซึ่งออกเสียงว่า "วันพุล") คือเว็บแอป Flutter (โปรโตไทป์) ที่เก็บสินค้าคงคลังของสินค้าที่ผู้คนย้ายไปมา และมีอินเทอร์เฟซสำหรับค้นหาสินค้าคงคลัง ในสภาพแวดล้อมที่มีสิ่งของจำนวนมากและตัวเลือกพื้นที่เก็บข้อมูลมากมาย (เช่น บ้านหรือสำนักงานที่มีคนพลุกพล่าน) การ 1) ติดตามตำแหน่งสุดท้ายที่พบสิ่งของ และ 2) จดจำสิ่งของทั้งหมดเมื่อพยายามแก้ปัญหาหรือทำตามรายการอาจเป็นเรื่องยาก นอกจากนี้ 1PUL ยังใช้เพื่อตรวจสอบคอลเล็กชันของสิ่งต่างๆ ได้ด้วย
เมื่อโค้ด Flutter ตรวจพบการเคลื่อนไหวจากกล้องโดยการเปรียบเทียบเฟรม ระบบจะส่งเฟรมกล้องและพรอมต์ไปยัง Gemini API เช่น "หากมีคนถือวัตถุและมองเห็นวัตถุได้อย่างชัดเจน ให้อธิบายวัตถุนั้น" ระบบจะเขียนคำอธิบายวัตถุของ Gemini รวมถึง URL ของภาพนิ่ง ตำแหน่งกล้อง และความคิดเห็นที่ได้ยินซึ่งถอดเสียงจากบุคคล (ไม่บังคับ) ลงในสเปรดชีตใน Google ชีต ระบบจะอัปโหลดภาพนิ่งไปยังที่เก็บข้อมูล GCS อุปกรณ์จับภาพที่ใช้ 1PUL จะแสดงสั้นๆ ว่ากำลังทำสินค้าคงคลัง
การค้นหาสินค้าคงคลังเป็นฟีเจอร์ที่ส่งคำค้นหาของผู้ใช้ (เช่น "ฉันมีอุปกรณ์ตั้งแคมป์อะไรบ้าง" "ประแจปากกาอยู่ที่ไหน") ไปยัง Gemini API พร้อมกับคำอธิบายสินค้าคงคลังแบบเต็ม (ขอบคุณสำหรับหน้าต่างบริบทขนาดใหญ่) พร้อมพรอมต์ เช่น "จับคู่คำค้นหาของผู้ใช้นี้กับคำอธิบายสินค้าที่เกี่ยวข้องที่สุด" ระบบจะแสดงข้อความแจ้งเพื่อให้คุณรับเอาต์พุตที่มีโครงสร้าง ซึ่งโค้ด Dart จะแมปกลับไปยังรายการสินค้าคงคลังเพื่อแสดงต่อผู้ใช้