AutoFlow

وظيفتها

AutoFlow هو مساعد لتسهيل الاستخدام من خلال الصوت تم تصميمه لتسهيل استخدام أجهزة المستخدمين الذين يعانون من إعاقات جسدية والتنقل بين أجزائها من خلال دمج Gemini كعامل طبيعي فعّال قائم على اللغة.

يشكّل Gemini العقل لموظّفي الدعم الثلاثة.
### وكيل التخطيط
مسؤول التخطيط هو مسؤول عن إنشاء خطة من عنصر في واجهة المستخدم ولقطة شاشة. يتم استخراج عنصر واجهة المستخدم من واجهة Win32 UIAutomation API، ويتم أخذ لقطة شاشة من Win32 User API وسيطلب من Gemini إنشاء خطة من هذه البيانات.
هذا الوكيل مهمّ فقط لبدء تنفيذ الخطة، وسيعيد توجيهه إلى نظام التخطيط عبر الاتصال.

### تحديد الوكيل
حدِّد الوكيل المسؤول عن تحديد عنصر واجهة المستخدم الذي يريد المستخدم التفاعل معه، مثل الأزرار أو الروابط. سيستخدم هذا الوكيل Gemini لتحديد العنصر الذي يريد المستخدم التفاعل معه.

### وكيل التنقّل
مسؤول التنقّل هو تنفيذ حدث الماوس ولوحة المفاتيح للتفاعل مع الشاشة. سيستخدم هذا الوكيل Gemini لتحويل اللغة الطبيعية، مثل "النقرة اليسرى" إلى عملية تنفيذ عن طريق الماوس ولوحة المفاتيح.