GUI 도구

기능

특정 파일에 액세스하려고 합니다. 시각 장애가 없는 사용자의 경우 클릭하여 문서 폴더로 이동한 다음 다시 클릭하여 파일을 열면 됩니다. 완료되었습니다.

시각장애인인 경우 어떻게 해야 하나요? macOS의 VoiceOver와 같은 스크린 리더를 사용합니다. 파일 관리자 창을 열면 VoiceOver가 파일 관리자와 그 기능을 자세히 설명해 줍니다 (파일 관리자를 사용할 때마다). 복잡한 키보드 작업을 사용하여 사이드바로 이동합니다. 기기와 상호작용할 때마다 VoiceOver는 포커스가 지정된 UI 요소에 관한 정보를 반복합니다. 그런 다음 폴더 목록을 하나씩 살펴보면서 VoiceOver가 모든 폴더 이름을 알려주기를 기다립니다. 그러다 올바른 폴더 이름이 들리면 폴더를 선택합니다. 원하는 파일을 찾을 때까지 폴더 내에서 이 프로세스가 반복됩니다. 얼마나 짜증나셨나요?

조용히 클릭 두 번으로 할 수 있는 작업이 잔소리와 함께 번거로운 12가지 작업으로 변합니다.

'문서 폴더에서 예방 접종 문서를 열어 줘'라고 간단히 지시하여 동일한 작업을 완료할 수 있다면 어떨까요? 내 앱인 GUI Dog가 이를 실행합니다.

사용자가 GUI Dog에 작업에 관한 정확한 안내를 제공합니다. GUI Dog는 Gemini에 수행할 작업과 조작할 수 있는 UI 요소 목록을 제공합니다. 그런 다음 Gemini는 취할 작업을 지정하고 GUI Dog는 macOS 접근성 시스템을 사용하여 이를 실행합니다. 두 팀은 함께 작업을 완료하기 위해 노력합니다.

GUI Dog는 대규모 언어 모델 기술을 사용하여 소외된 계층을 지원하고 디지털 세상과의 상호작용을 개선함으로써 시각 장애인의 '눈'이 되고자 합니다.