سگ رابط کاربری گرافیکی

کاری که انجام می دهد

شما می خواهید به یک فایل خاص دسترسی داشته باشید. برای یک کاربر بینا، به سادگی کلیک کنید تا وارد پوشه Documents شوید و دوباره کلیک کنید تا فایل باز شود. انجام شد.

اما اگر دچار اختلال بینایی هستید چه؟ می‌توانید از یک خواننده کور، مانند VoiceOver در macOS استفاده کنید. بنابراین شما یک پنجره مدیریت فایل را باز می کنید و VoiceOver به طور مفصل توضیح می دهد که چه کاری انجام می دهد و می تواند انجام دهد (هر بار که از آن استفاده می کنید!). شما از اقدامات پیچیده صفحه کلید برای پیمایش به نوار کناری استفاده می کنید. هر زمان که با دستگاه خود تعامل داشته باشید، VoiceOver اطلاعات مربوط به عنصر UI متمرکز را تکرار می کند. سپس لیست پوشه ها را یکی یکی پایین می آورید و VoiceOver نام هر پوشه را اعلام می کند تا در نهایت پوشه صحیح را بشنوید. این فرآیند در داخل پوشه تکرار می شود تا زمانی که فایل مورد نظر خود را پیدا کنید. این عصبانی کننده نبود؟

یک کار آرام با دو کلیک به یک عملیات هولناک و خسته کننده تبدیل می شود.

اگر بتوانید همان کار را به سادگی با دستور "در پوشه اسناد، سند واکسیناسیون من را باز کنید" تکمیل کنید؟ برنامه من، GUI Dog، این کار را انجام می دهد.

کاربر دستورالعمل های دقیق GUI Dog را برای یک کار می دهد. GUI Dog وظیفه دستیابی به Gemini و فهرستی از عناصر رابط کاربری را که می تواند دستکاری کند، ارائه می دهد. سپس Gemini مشخص می کند که چه اقداماتی باید انجام شود و GUI Dog از سیستم دسترسی macOS برای اجرای آنها استفاده می کند. آنها با هم برای تکمیل کار تلاش می کنند.

هدف GUI Dog این است که "چشم بینا" برای افراد کم بینا باشد، با استفاده از فناوری های مدل زبان بزرگ برای کمک به ارتقای افراد محروم و افزایش تعامل آنها با دنیای دیجیتال.