AutoFlow

תיאור

AutoFlow הוא עוזר קולי לנגישות, שנועד לפשט את השימוש במחשב והניווט של משתמשים עם מוגבלויות פיזיות. לשם כך, הוא משלב את Gemini בתור סוכן חזק מבוסס-שפה טבעית.

Gemini משמש כמוח של 3 הסוכנים שלנו.
### סוכן תכנון
סוכן התכנון אחראי על יצירת תוכנית מרכיב ממשק המשתמש ומצילום המסך. רכיב ממשק המשתמש מחובר מ-Win32 UIAutomation API, וצילום המסך נלקח מ-Win32 User API. לאחר מכן, סוכן התכנון יבקש מ-Gemini ליצור תוכנית מהנתונים האלה.
הסוכן הזה יכול רק להתחיל את ביצוע התוכנית, והוא יעביר אותה למערכת התכנון של הטבעת.

### מזהה סוכן
הסוכן המזהה אחראי לזיהוי רכיב בממשק המשתמש שהמשתמש רוצה לקיים איתו אינטראקציה, כמו לחצן או קישורים. הסוכן הזה ישתמש ב-Gemini כדי לזהות את הרכיב שהמשתמש רוצה לקיים איתו אינטראקציה.

### סוכן ניווט
סוכן הניווט אחראי להפעלת אירועי עכבר ומקלדת כדי לקיים אינטראקציה עם המסך. הסוכן הזה ישתמש ב-Gemini כדי להמיר שפה טבעית, כמו 'קליק שמאלי', להפעלה של עכבר ומקלדת.