AutoFlow

การทำงาน

AutoFlow เป็นผู้ช่วยการช่วยเหลือพิเศษด้วยเสียงที่ออกแบบมาเพื่อลดความซับซ้อนในการใช้คอมพิวเตอร์และการไปยังส่วนต่างๆ ของผู้ใช้ที่มีความบกพร่องทางร่างกาย ด้วยการผสานรวม Gemini เป็นผู้ช่วยที่มีประสิทธิภาพซึ่งทำงานด้วยภาษาที่เป็นธรรมชาติ

Gemini ทำหน้าที่เป็นสมองของผู้ช่วยทั้ง 3 คนของเรา
### ตัวแทนการวางแผน
ตัวแทนการวางแผนมีหน้าที่สร้างแผนจากองค์ประกอบ UI และภาพหน้าจอ โดยระบบจะดึงข้อมูลองค์ประกอบ UI จาก Win32 UIAutomation API และดึงภาพหน้าจอจาก Win32 User API และจะขอให้ Gemini สร้างแผนจากข้อมูลเหล่านี้
ตัวแทนนี้มีฟังก์ชันเพื่อเริ่มการดําเนินการตามแผนเท่านั้น และจะส่งต่อไปยังระบบการวางแผนวงแหวน

### ระบุตัวแทน
ตัวแทนการระบุมีหน้าที่รับผิดชอบในการระบุองค์ประกอบ UI ที่ผู้ใช้ต้องการโต้ตอบด้วย เช่น ปุ่มหรือลิงก์ ตัวแทนนี้จะใช้ Gemini เพื่อระบุองค์ประกอบที่ผู้ใช้ต้องการโต้ตอบด้วย

### ตัวแทนการนําทาง
ตัวแทนการนําทางมีหน้าที่เรียกใช้เหตุการณ์เมาส์และแป้นพิมพ์เพื่อโต้ตอบกับหน้าจอ โดยตัวแทนนี้จะใช้ Gemini เพื่อแปลงภาษาธรรมชาติ เช่น "คลิกซ้าย" เป็นการเรียกใช้เมาส์และแป้นพิมพ์