AutoFlow

وظيفتها

‫AutoFlow هو مساعد للوصول إلى المحتوى باستخدام الصوت مصمّم لتبسيط استخدام الكمبيوتر والتنقّل للمستخدمين الذين يعانون من عجز جسدي من خلال دمج Gemini كوكيل فعّال يستند إلى اللغة الطبيعية.

يُعدّ Gemini العقل المدبر لثلاثة وكلاء.
### وكيل التخطيط
يكون وكيل التخطيط مسؤولاً عن إنشاء خطة من عنصر واجهة المستخدم ولقطة الشاشة، ويتم استخراج عنصر واجهة المستخدم من واجهة برمجة التطبيقات Win32 UIAutomation API، ويتم أخذ لقطة الشاشة من واجهة برمجة التطبيقات Win32 User API، وسيطلب من Gemini إنشاء خطة من هذه البيانات.
لا يتضمّن هذا الوكيل سوى وظيفة لبدء تنفيذ الخطة، وسيتم إعادة توجيهه إلى نظام تخطيط المكالمات.

### تحديد الوكيل
يكون تحديد الوكيل مسؤولاً عن تحديد عنصر واجهة المستخدم الذي يريد المستخدم التفاعل معه، مثل الزر أو الروابط، وسيستخدم هذا الوكيل Gemini لتحديد العنصر الذي يريد المستخدم التفاعل معه.

### وكيل التنقّل
يتحمل وكيل التنقّل مسؤولية تنفيذ أحداث الماوس ولوحة المفاتيح للتفاعل مع الشاشة، وسيستخدم هذا الوكيل Gemini لتحويل اللغة الطبيعية مثل "النقرة اليمنى" إلى تنفيذ الماوس ولوحة المفاتيح.