AutoFlow

Fungsinya

AutoFlow adalah asisten aksesibilitas suara yang dirancang untuk menyederhanakan penggunaan komputer dan navigasi pengguna dengan disabilitas fisik dengan mengintegrasikan Gemini sebagai agen yang andal dan berbasis bahasa alami.

Gemini berfungsi sebagai otak dari 3 agen kami.
### Agen perencanaan
Agen perencanaan bertanggung jawab untuk membuat rencana dari elemen UI dan screenshot, elemen UI diekstrak dari Win32 UIAutomation API, dan screenshot diambil dari Win32 User API dan akan meminta Gemini untuk membuat rencana dari data ini.
Agen ini hanya memiliki fungsi untuk memulai eksekusi rencana, dan akan diteruskan ke sistem perencanaan ring.

### Agen identifikasi
Agen identifikasi bertanggung jawab untuk mengidentifikasi elemen UI yang ingin diajak berinteraksi oleh pengguna, seperti tombol atau link. Agen ini akan menggunakan Gemini untuk mengidentifikasi elemen yang ingin diajak berinteraksi oleh pengguna.

### Agen navigasi
Agen navigasi bertanggung jawab untuk menjalankan peristiwa mouse dan keyboard untuk berinteraksi dengan layar. Agen ini akan menggunakan Gemini untuk mengonversi bahasa alami seperti `klik kiri` menjadi eksekusi mouse dan keyboard.