GUI Dog

การทำงาน

คุณต้องการเข้าถึงไฟล์ที่เฉพาะเจาะจง สําหรับผู้ใช้ที่มองเห็นได้ คุณเพียงคลิกเพื่อเข้าสู่โฟลเดอร์เอกสาร แล้วคลิกอีกครั้งเพื่อเปิดไฟล์ เสร็จแล้ว

แต่หากมีปัญหาทางสายตาล่ะ คุณจะใช้โปรแกรมอ่านหน้าจอสำหรับผู้พิการทางสายตา เช่น VoiceOver ของ macOS ดังนั้นเมื่อคุณเปิดหน้าต่างเครื่องมือจัดการไฟล์ VoiceOver จะอธิบายอย่างละเอียดว่าเครื่องมือนั้นคืออะไรและทําอะไรได้บ้าง (ทุกครั้งที่คุณใช้) คุณใช้การกดแป้นพิมพ์ที่ซับซ้อนเพื่อไปยังแถบด้านข้าง เมื่อใดก็ตามที่คุณโต้ตอบกับอุปกรณ์ VoiceOver จะอ่านข้อมูลเกี่ยวกับองค์ประกอบ UI ที่โฟกัสซ้ำ จากนั้นเลื่อนดูรายการโฟลเดอร์ทีละรายการ โดยที่ VoiceOver จะอ่านชื่อของโฟลเดอร์แต่ละโฟลเดอร์จนกว่าคุณจะได้ยินโฟลเดอร์ที่ถูกต้อง ทำซ้ำขั้นตอนนี้ภายในโฟลเดอร์จนกว่าจะพบไฟล์ที่ต้องการ น่าหงุดหงิดไหม

งานง่ายๆ ที่คลิกแค่ 2 ครั้งกลับกลายเป็นการดำเนินการที่ยุ่งยากและน่าเบื่อ

จะเกิดอะไรขึ้นหากคุณทำงานเดียวกันให้เสร็จได้ง่ายๆ เพียงบอกคำสั่งว่า "เปิดเอกสารการฉีดวัคซีนของฉันในโฟลเดอร์เอกสาร" แอป GUI Dog ของฉันทำสิ่งนั้นได้

ผู้ใช้จะให้วิธีการที่แม่นยำแก่ GUI Dog สำหรับงานหนึ่งๆ GUI Dog จะมอบหมายงานให้ Gemini และรายการองค์ประกอบ UI ที่ระบบสามารถจัดการได้ จากนั้น Gemini จะระบุการดำเนินการที่จะทำ และ GUI Dog จะใช้ระบบการช่วยเหลือพิเศษของ macOS เพื่อดำเนินการดังกล่าว ทั้งสองช่วยกันทำงานให้เสร็จ

GUI Dog มีเป้าหมายที่จะเป็น "สุนัขนำทาง" สำหรับผู้พิการทางสายตา โดยใช้เทคโนโลยีโมเดลภาษาขนาดใหญ่เพื่อยกระดับผู้ด้อยโอกาสและปรับปรุงการโต้ตอบกับโลกดิจิทัล