Pies GUI

Działanie

chcesz uzyskać dostęp do konkretnego pliku. W przypadku osób widzących wystarczy kliknąć, aby otworzyć folder Dokumenty, a następnie ponownie kliknąć, aby otworzyć plik. Gotowe.

A co, jeśli jesteś niedowidzący? Użyjesz czytnika dla niewidomych, takiego jak VoiceOver w systemie macOS. Otwierasz okno menedżera plików, a VoiceOver szczegółowo opisuje, czym jest i co potrafi (za każdym razem, gdy go używasz). Do nawigacji po pasku bocznym używasz złożonych działań na klawiaturze. Gdy tylko wejdziesz w interakcję z urządzeniem, VoiceOver powtórzy informacje o aktywizowanym elemencie interfejsu. Następnie przewijasz listę folderów jeden po drugim, a VoiceOver wypowiada nazwy folderów, aż usłyszysz ten właściwy. Proces jest powtarzany w folderze, aż znajdziesz odpowiedni plik. Czy nie jest to frustrujące?

Proste zadanie, które wymagało kliknięcia 2 przycisków, staje się męczącą operacją wymagającą wykonania kilkunastu czynności.

A co, jeśli można by wykonać to samo zadanie, po prostu mówiąc: „Otwórz mój dokument dotyczący szczepień w folderze Dokumenty”? Moja aplikacja, GUI Dog, robi właśnie to.

Użytkownik podaje GUI Dog dokładne instrukcje dotyczące zadania. GUI Dog przekazuje Gemini zadanie do wykonania i listę elementów interfejsu, którymi może manipulować. Następnie Gemini określa, jakie działania należy wykonać, a GUI Dog używa systemu ułatwień dostępu macOS, aby je wykonać. Razem pracują nad wykonaniem zadania.

GUI Dog ma być „widzącym okiem” dla osób niedowidzących, używając technologii dużych modeli językowych, aby pomóc osobom z niepełnosprawnościami w lepszym korzystaniu z świata cyfrowego.