AutoFlow

תיאור

AutoFlow הוא עוזר דיגיטלי לנגישות קולית שנועד לפשט את השימוש במחשב ואת הניווט למשתמשים עם מוגבלויות פיזיות. לשם כך, הוא משלב את Gemini כסוכן עוצמתי מבוסס-שפה טבעית.

Gemini הוא המוח של 3 הנציגים שלנו.
### סוכן תכנון
סוכן התכנון אחראי על יצירת תוכנית מהרכיב בממשק המשתמש וצילום המסך, הרכיב בממשק המשתמש נשלף מ-Win32 UIAutomation API, וצילום המסך נלקח מ-Win32 User API, והוא יבקש מ-Gemini ליצור תוכנית מהנתונים האלה.
לסוכן הזה יש פונקציה רק להתחלת התוכנית, והוא יועבר למערכת תכנון הצלצול.

### זיהוי הסוכן
הסוכן אחראי לזהות את הרכיב בממשק המשתמש שהמשתמש רוצה לבצע איתו אינטראקציה, כמו לחצן או קישורים. הנציג הזה ישתמש ב-Gemini כדי לזהות את הרכיב שאיתו המשתמש רוצה לבצע אינטראקציה.

### סוכן ניווט
סוכן הניווט אחראי להריץ אירועים של העכבר והמקלדת כדי לבצע פעולות במסך. הסוכן הזה ישתמש ב-Gemini כדי להמיר שפה טבעית, כמו 'קליק שמאלי' לביצוע של העכבר והמקלדת.