SmartVision

การทำงาน

SmartVision เป็นผู้ช่วยบนอุปกรณ์เคลื่อนที่สำหรับผู้ใช้ที่มีปัญหาด้านการมองเห็น
ซึ่งช่วยให้ผู้ใช้เข้าถึงข้อมูลได้ดีขึ้น
มีความเป็นอิสระ และได้รับความช่วยเหลือในการใช้ชีวิต ผู้ช่วยบนอุปกรณ์เคลื่อนที่นี้ใช้ประโยชน์จากเทคโนโลยีเพื่อมอบฟีเจอร์และฟังก์ชันการทำงานที่หลากหลายซึ่งปรับให้เหมาะกับความต้องการของผู้ที่มีความบกพร่องทางสายตา โดยมีจุดประสงค์เพื่อช่วยให้งานประจำวันทำได้ง่ายขึ้นและช่วยให้มีส่วนร่วมในสังคมได้มากขึ้น
แอป Android นี้มาพร้อมฟีเจอร์ต่างๆ เช่น ตรวจหาวัตถุ สรุปเอกสาร โหมดการอ่าน ตรวจจับใบหน้า สแกนผลิตภัณฑ์ ฟีเจอร์ตรวจหาวัตถุและสรุปเอกสารสร้างขึ้นโดยใช้ Gemini API โดยฟีเจอร์ตรวจหาวัตถุจะใช้โมเดล Gemini-1.5-Flash เนื่องจากทำงานได้เร็วกว่า Gemini-1.5-Pro หากต้องการใช้ฟีเจอร์ตรวจจับวัตถุ ผู้ใช้จะต้องสวมหมวกอัจฉริยะซึ่งมีโมดูลกล้องที่เปิดใช้ Wi-Fi รูปภาพที่ถ่ายจากกล้องนี้จะแสดงในแอปบนอุปกรณ์เคลื่อนที่และส่งไปยัง Gemini API ระยะไกลเพื่ออธิบายรูปภาพที่ Gemini API จับภาพแบบเรียลไทม์ โดยระบบจะอ่านออกเสียงหรือประกาศคำอธิบายให้ผู้ใช้ฟังโดยใช้ฟีเจอร์การอ่านออกเสียงข้อความเพื่อความสะดวกของผู้ใช้ที่มีปัญหาด้านการมองเห็น นอกจากนี้ เอกสารสรุป(PDF เท่านั้น) ยังสร้างขึ้นโดยใช้โมเดล Gemini-1.5-pro หากต้องการใช้ฟีเจอร์นี้ ผู้ใช้จะต้องเลือกเอกสาร PDF ที่อยู่ในหน่วยความจำของโทรศัพท์และตั้งค่าข้อความพรอมต์ (เช่น ให้สรุปเอกสาร PDF เป็น 150 คำ) Gemini API จะสรุปเนื้อหาข้อความที่อยู่ในไฟล์ PDF และอ่านออกเสียงให้ผู้ใช้ฟัง