GUI Dog

Ý nghĩa

Bạn muốn truy cập vào một tệp cụ thể. Đối với người dùng bình thường, bạn chỉ cần nhấp để truy cập vào thư mục Tài liệu rồi nhấp lại để mở tệp. Xong.

Nhưng nếu bạn bị khiếm thị thì sao? Bạn sẽ sử dụng trình đọc cho người khiếm thị, chẳng hạn như VoiceOver của macOS. Vì vậy, bạn mở một cửa sổ trình quản lý tệp và VoiceOver sẽ mô tả chi tiết về cửa sổ đó và những việc bạn có thể làm (mỗi khi bạn sử dụng cửa sổ đó!). Bạn sử dụng các thao tác phức tạp trên bàn phím để di chuyển đến thanh bên. Bất cứ khi nào bạn tương tác với thiết bị, VoiceOver sẽ lặp lại thông tin về phần tử giao diện người dùng được lấy làm tâm điểm. Sau đó, bạn sẽ lần lượt xem danh sách thư mục, trong đó VoiceOver sẽ thông báo tên của từng thư mục cho đến khi bạn nghe thấy thư mục chính xác. Quá trình này sẽ lặp lại bên trong thư mục cho đến khi bạn tìm thấy tệp mong muốn. Thật khó chịu phải không?

Một thao tác đơn giản chỉ cần hai lần nhấp lại trở thành một thao tác dài dòng, mệt mỏi với hàng tá thao tác.

Nếu bạn có thể hoàn thành cùng một thao tác chỉ bằng cách ra lệnh "Trong thư mục Documents (Tài liệu), hãy mở giấy chứng nhận tiêm chủng của tôi" thì sao? Ứng dụng của tôi, GUI Dog, thực hiện việc đó.

Người dùng đưa ra hướng dẫn chính xác cho GUI Dog về một nhiệm vụ. GUI Dog cung cấp cho Gemini nhiệm vụ cần thực hiện và danh sách các thành phần trên giao diện người dùng mà Gemini có thể thao tác. Sau đó, Gemini sẽ chỉ định những hành động cần thực hiện và GUI Dog sẽ sử dụng hệ thống hỗ trợ tiếp cận của macOS để thực thi các hành động đó. Cùng nhau, chúng sẽ nỗ lực hoàn thành nhiệm vụ.

GUI Dog hướng đến mục tiêu trở thành "đôi mắt" cho người khiếm thị, sử dụng các công nghệ Mô hình ngôn ngữ lớn để giúp nâng cao chất lượng cuộc sống cho những người yếu thế, tăng cường khả năng tương tác của họ với thế giới kỹ thuật số.