GUI Dog

作用

您想访问特定文件。对于视力正常的用户，只需点击进入“文档”文件夹，然后再次点击即可打开文件。完成。

但如果您是视障人士，该怎么办？您会使用盲人阅读器，例如 macOS 的 VoiceOver。例如，当您打开文件管理器窗口时，VoiceOver 会详细描述该窗口的用途和功能（每次您使用该窗口时！）。您使用复杂的键盘操作导航到边栏。每当您与设备互动时，VoiceOver 都会重复聚焦的界面元素的相关信息。然后，您可以逐个浏览文件夹列表，让“语音朗读”功能读出每个文件夹的名称，直到您听到正确的文件夹。系统会在该文件夹内重复此过程，直到您找到所需的文件。这不是很令人沮丧吗？

一项轻松的两步操作变成了需要完成十几项操作的繁琐过程。

如果您只需发出指令“在‘文档’文件夹中打开我的疫苗接种证明”，即可完成相同的任务，那该多好？我的应用 GUI Dog 就能做到这一点。

用户可以向 GUI Dog 提供有关任务的确切说明。GUI Dog 会向 Gemini 提供要完成的任务以及它可以操控的界面元素列表。然后，Gemini 会指定要执行哪些操作，GUI Dog 会使用 macOS 无障碍功能系统来执行这些操作。他们会一起努力完成任务。

GUI Dog 旨在成为盲人的“眼睛”，利用大语言模型技术帮助弱势群体提升生活质量，增强他们与数字世界的互动。