GUI Dog

תיאור

אתם רוצים לגשת לקובץ ספציפי. משתמשים שרואים יכולים פשוט ללחוץ כדי להיכנס לתיקייה 'מסמכים' וללחוץ שוב כדי לפתוח את הקובץ. סיימתם.

אבל מה קורה אם אתם לקויי ראייה? צריך להשתמש בקורא מסך לעיוורים, כמו VoiceOver של macOS. למשל, כשפותחים חלון של מנהל קבצים, מערכת VoiceOver מתארת בפירוט מה זה ואילו פעולות אפשר לבצע בו (בכל פעם שמשתמשים בו!). אתם משתמשים בפעולות מורכבות במקלדת כדי לנווט לסרגל הצד. בכל פעם שאתם מבצעים פעולה במכשיר, VoiceOver חוזר על המידע לגבי רכיב ממשק המשתמש שבו התמקדתם. לאחר מכן, עוברים ברשימה של התיקיות אחת אחרי השנייה, ו-VoiceOver מכריז על שם כל תיקייה עד שמגיעים לתיקייה הנכונה. חוזרים על התהליך בתיקייה עד שמוצאים את הקובץ הרצוי. זה לא מעצבן?

משימה שקטה של שני קליקים הופכת למבצע מייגע של תריסר פעולות.

מה אם תוכלו להשלים את אותה משימה פשוט על ידי הנחיה, "בתיקיית Documents, פותחים את מסמך החיסון שלי"? האפליקציה שלי, GUI Dog, עושה את זה.

המשתמש נותן ל-GUI Dog הוראות מדויקות לביצוע משימה. GUI Dog מספק ל-Gemini את המשימה לביצוע ואת רשימת רכיבי ממשק המשתמש שבהם הוא יכול לבצע שינויים. לאחר מכן, Gemini מציין אילו פעולות לבצע, ו-GUI Dog משתמש במערכת הנגישות של macOS כדי לבצע אותן. יחד הם עובדים כדי להשלים את המשימה.

המטרה של GUI Dog היא להיות "הכלב המנחה" לעיוורים, באמצעות טכנולוגיות של מודלים גדולים של שפה כדי לעזור לאנשים עם צרכים מיוחדים ולשפר את האינטראקציות שלהם עם העולם הדיגיטלי.