AutoFlow

Ý nghĩa

AutoFlow là một trợ lý hỗ trợ tiếp cận bằng giọng nói, được thiết kế để đơn giản hoá việc sử dụng máy tính và điều hướng của người dùng khuyết tật về thể chất bằng cách tích hợp Gemini làm một tác nhân mạnh mẽ, sử dụng ngôn ngữ tự nhiên.

Gemini đóng vai trò là bộ não của 3 tác nhân của chúng tôi.
### Tác nhân lập kế hoạch
Tác nhân lập kế hoạch chịu trách nhiệm tạo kế hoạch từ thành phần giao diện người dùng và ảnh chụp màn hình, thành phần giao diện người dùng được trích xuất từ API Win32 UIAutomation và ảnh chụp màn hình được lấy từ API Người dùng Win32. Tác nhân này sẽ yêu cầu Gemini tạo kế hoạch từ những dữ liệu này.
Tác nhân này chỉ có chức năng bắt đầu thực thi kế hoạch và sẽ chuyển tiếp đến hệ thống lập kế hoạch chuông.

### Tác nhân nhận dạng
Tác nhân nhận dạng chịu trách nhiệm xác định phần tử trên giao diện người dùng mà người dùng muốn tương tác, chẳng hạn như nút hoặc đường liên kết. Tác nhân này sẽ sử dụng Gemini để xác định phần tử mà người dùng muốn tương tác.

### Tác nhân điều hướng
Tác nhân điều hướng chịu trách nhiệm thực thi sự kiện chuột và bàn phím để tương tác với màn hình. Tác nhân này sẽ sử dụng Gemini để chuyển đổi ngôn ngữ tự nhiên như "nhấp chuột trái" thành thao tác thực thi chuột và bàn phím.