AutoFlow
التحكّم بسهولة في الكمبيوتر باستخدام اللغة الطبيعية
وظيفتها
AutoFlow هو مساعد صوتي لإمكانية الاستخدام مصمّم لتبسيط استخدام الكمبيوتر والتنقّل للمستخدمين الذين يعانون من عجز جسدي من خلال دمج Gemini كوكيل فعّال يستند إلى اللغة الطبيعية.
يُعدّ Gemini العقل المدبر لثلاثة وكلاء.
### وكيل التخطيط
يكون وكيل التخطيط مسؤولاً عن إنشاء خطة من عنصر واجهة المستخدم ولقطة الشاشة، ويتم استخراج عنصر واجهة المستخدم من واجهة برمجة التطبيقات Win32 UIAutomation API، ويتم أخذ لقطة الشاشة من واجهة برمجة التطبيقات Win32 User API، وسيطلب من Gemini إنشاء خطة من هذه البيانات.
لا يتضمّن هذا الوكيل سوى وظيفة لبدء تنفيذ الخطة، وسيتم إعادة توجيهه إلى نظام تخطيط المكالمات.
### تحديد الوكيل
يكون تحديد الوكيل مسؤولاً عن تحديد عنصر واجهة المستخدم الذي يريد المستخدم التفاعل معه، مثل الزر أو الروابط، وسيستخدم هذا الوكيل Gemini لتحديد العنصر الذي يريد المستخدم التفاعل معه.
### وكيل التنقّل
يتحمل وكيل التنقّل مسؤولية تنفيذ أحداث الماوس ولوحة المفاتيح للتفاعل مع الشاشة، وسيستخدم هذا الوكيل Gemini لتحويل اللغة الطبيعية مثل "النقرة اليمنى" إلى تنفيذ الماوس ولوحة المفاتيح.
مصمَّم بالاستناد إلى
- ميزة "تحويل الكلام إلى نص" من Google
الفريق
من
AutoFlow
من
تايلاند