AutoFlow

שליטה נוחה במחשב באמצעות שפה טבעית.

תיאור

AutoFlow הוא עוזר קולי לנגישות, שנועד לפשט את השימוש במחשב והניווט של משתמשים עם מוגבלויות פיזיות. לשם כך, הוא משלב את Gemini כסוכן חזק מבוסס-שפה טבעית.

Gemini משמש כמוח של 3 הסוכנים שלנו.
### סוכן תכנון
סוכן התכנון אחראי על יצירת תוכנית מרכיב ממשק המשתמש ומצילום המסך. רכיב ממשק המשתמש מחובר מ-Win32 UIAutomation API, וצילום המסך נלקח מ-Win32 User API. לאחר מכן, הסוכן יבקש מ-Gemini ליצור תוכנית מהנתונים האלה.
הסוכן הזה יכול רק להתחיל את ביצוע התוכנית, והוא יעביר אותה למערכת התכנון של הטבעת.

### סוכן זיהוי
סוכן הזיהוי אחראי לזיהוי רכיב ממשק המשתמש שאליו המשתמש רוצה לבצע אינטראקציה, כמו לחצן או קישורים. הסוכן הזה ישתמש ב-Gemini כדי לזהות את הרכיב שאליו המשתמש רוצה לבצע אינטראקציה.

### סוכן ניווט
סוכן הניווט אחראי להפעלת אירועי עכבר ומקלדת כדי ליצור אינטראקציה עם המסך. הסוכן הזה ישתמש ב-Gemini כדי להמיר שפה טבעית, כמו 'קליק שמאלי', להפעלה של עכבר ומקלדת.

נוצר באמצעות

  • Google Speech To Text‏ (STT)

קבוצה

על ידי

AutoFlow

מאת

תאילנד