AutoFlow

Fungsinya

AutoFlow adalah asisten aksesibilitas suara yang dirancang untuk menyederhanakan penggunaan komputer dan navigasi bagi pengguna penyandang disabilitas fisik dengan mengintegrasikan Gemini sebagai agen canggih yang berbasis bahasa.

Gemini berfungsi sebagai otak dari 3 agen kami.
### Agen perencanaan
Agen perencanaan bertanggung jawab untuk membuat rencana dari elemen UI dan screenshot, elemen UI diekstrak dari Win32 UIAutomation API, dan screenshot diambil dari Win32 User API dan akan meminta Gemini untuk membuat rencana dari data tersebut.
Agen ini hanya memiliki fungsi untuk memulai pelaksanaan rencana, dan akan meneruskan ke sistem perencanaan dering.

### Identifikasi agen
Identifikasi agen bertanggung jawab untuk mengidentifikasi elemen UI yang ingin digunakan pengguna seperti tombol atau link. Agen ini akan menggunakan Gemini untuk mengidentifikasi elemen yang diinginkan pengguna untuk berinteraksi.

### Agen navigasi
Agen navigasi bertanggung jawab untuk mengeksekusi peristiwa mouse dan keyboard untuk berinteraksi dengan layar, agen ini akan menggunakan Gemini untuk mengonversi bahasa alami seperti `klik kiri` menjadi eksekusi mouse dan keyboard.