تمكين التحكّم في الكمبيوتر بسهولة من خلال اللغة الطبيعية
وظيفتها
AutoFlow هو مساعد لتسهيل الاستخدام من خلال الصوت تم تصميمه لتسهيل استخدام أجهزة المستخدمين الذين يعانون من إعاقات جسدية والتنقل بين أجزائها من خلال دمج Gemini كعامل طبيعي فعّال قائم على اللغة.
يشكّل Gemini العقل لموظّفي الدعم الثلاثة. ### وكيل التخطيط مسؤول التخطيط هو مسؤول عن إنشاء خطة من عنصر في واجهة المستخدم ولقطة شاشة. يتم استخراج عنصر واجهة المستخدم من واجهة Win32 UIAutomation API، ويتم أخذ لقطة شاشة من Win32 User API وسيطلب من Gemini إنشاء خطة من هذه البيانات. هذا الوكيل مهمّ فقط لبدء تنفيذ الخطة، وسيعيد توجيهه إلى نظام التخطيط عبر الاتصال.
### تحديد الوكيل حدِّد الوكيل المسؤول عن تحديد عنصر واجهة المستخدم الذي يريد المستخدم التفاعل معه، مثل الأزرار أو الروابط. سيستخدم هذا الوكيل Gemini لتحديد العنصر الذي يريد المستخدم التفاعل معه.
### وكيل التنقّل مسؤول التنقّل هو تنفيذ حدث الماوس ولوحة المفاتيح للتفاعل مع الشاشة. سيستخدم هذا الوكيل Gemini لتحويل اللغة الطبيعية، مثل "النقرة اليسرى" إلى عملية تنفيذ عن طريق الماوس ولوحة المفاتيح.
تم الإنشاء باستخدام
تحويل الكلام إلى نص من Google (STT)
الفريق
من
AutoFlow
من
تايلاند
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"لا يحتوي على المعلومات التي أحتاج إليها."
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"الخطوات معقدة للغاية / كثيرة جدًا."
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"المحتوى قديم."
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"ثمة مشكلة في الترجمة."
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"مشكلة في العيّنات / التعليمات البرمجية"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"غير ذلك"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"يسهُل فهم المحتوى."
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"ساعَدني المحتوى في حلّ مشكلتي."
},{
"type": "thumb-up",
"id": "otherUp",
"label":"غير ذلك"
}]
{}
[[["يسهُل فهم المحتوى.","easyToUnderstand","thumb-up"],["ساعَدني المحتوى في حلّ مشكلتي.","solvedMyProblem","thumb-up"],["غير ذلك","otherUp","thumb-up"]],[["لا يحتوي على المعلومات التي أحتاج إليها.","missingTheInformationINeed","thumb-down"],["الخطوات معقدة للغاية / كثيرة جدًا.","tooComplicatedTooManySteps","thumb-down"],["المحتوى قديم.","outOfDate","thumb-down"],["ثمة مشكلة في الترجمة.","translationIssue","thumb-down"],["مشكلة في العيّنات / التعليمات البرمجية","samplesCodeIssue","thumb-down"],["غير ذلك","otherDown","thumb-down"]],[],[],[]]