GUI Dog

وظيفتها

إذا أردت الوصول إلى ملف معيّن بالنسبة إلى المستخدم المبصر، ما عليه سوى النقر للدخول إلى مجلد "المستندات" والنقر مرة أخرى لفتح الملف. تم.

ماذا لو كنت من ضعاف البصر؟ يمكنك استخدام قارئ شاشة للمكفوفين، مثل VoiceOver في نظام التشغيل macOS. فتح نافذة مدير ملفات، ويصف VoiceOver بالتفصيل ما هو مدير الملفات وما يمكنه فعله (في كل مرة تستخدمه فيها) استخدام إجراءات معقدة في لوحة المفاتيح للتنقّل إلى الشريط الجانبي عند التفاعل مع جهازك، يكرّر VoiceOver المعلومات حول عنصر واجهة المستخدم الذي يتم التركيز عليه. بعد ذلك، يمكنك الانتقال إلى أسفل قائمة المجلدات واحدًا تلو الآخر، وسيُعلن VoiceOver عن اسم كل مجلد إلى أن تسمع أخيرًا المجلد الصحيح. يتم تكرار العملية داخل المجلد إلى أن تعثر على الملف المطلوب. أليس هذا أمرًا مزعجًا؟

تتحول مهمة بسيطة يمكن إكمالها بنقرتَين إلى عملية مزعجة تستغرق تنفيذها 12 إجراءً.

ماذا لو كان بإمكانك إكمال المهمة نفسها ببساطة من خلال توجيه الجهاز بعبارة "في مجلد "المستندات"، افتح مستند التلقيح"؟ ينفّذ تطبيقي GUI Dog ذلك.

يعطي المستخدم تعليمات دقيقة لتطبيق GUI Dog لتنفيذ مهمة معيّنة. يقدّم GUI Dog لتطبيق Gemini المهمة المطلوب تنفيذها وقائمة بعناصر واجهة المستخدم التي يمكنه التعامل معها. بعد ذلك، يحدّد Gemini الإجراءات التي يجب اتّخاذها، ويستخدم GUI Dog نظام تسهيل الاستخدام في macOS لتنفيذها. يعملان معًا على إكمال المهمة.

يهدف مشروع GUI Dog إلى أن يكون "عينًا بصيرة" للمكفوفين، وذلك باستخدام تقنيات النماذج اللغوية الكبيرة للمساعدة في تحسين حياة الأشخاص المحرومين وتعزيز تفاعلاتهم مع العالم الرقمي.