GUI 狗

用途

您想要存取特定檔案。對於視障使用者，只要點選即可進入「Documents」資料夾，然後再點選一次即可開啟檔案。完成。

但如果您是視障人士，您會使用盲人閱讀器，例如 macOS 的 VoiceOver。因此，當你開啟檔案管理員視窗時，VoiceOver 會詳細說明檔案管理員的功能和用途 (每次使用時都會說明)。您使用複雜的鍵盤動作前往側欄。只要您與裝置互動，旁白就會重複讀取焦點 UI 元素的相關資訊。接著，你會逐一瀏覽資料夾清單，並由 VoiceOver 朗讀每個資料夾的名稱，直到你聽到正確的資料夾為止。在資料夾中重複執行這個程序，直到找到所需檔案為止。這不是很惱人嗎？

原本只要兩次點擊就能完成的任務，現在變成要執行一連串繁瑣的操作。

如果只要下達「在『文件』資料夾中開啟我的疫苗接種證明」指令，就能完成相同的任務，那該有多好？我的應用程式 GUI Dog 就是這麼做的。

使用者會向 GUI Dog 提供任務的具體操作說明。GUI Dog 會向 Gemini 提供要完成的工作，以及可操控的 UI 元素清單。接著，Gemini 會指定要執行的動作，而 GUI Dog 會使用 macOS 無障礙系統執行這些動作。兩者共同合作，完成這項任務。

GUI Dog 的目標是成為視障人士的「導盲犬」，透過大型語言模型技術協助弱勢族群，提升他們與數位世界的互動。