AutoFlow

Ý nghĩa

AutoFlow là một trợ lý hỗ trợ tiếp cận bằng giọng nói, được thiết kế để đơn giản hoá việc sử dụng máy tính và di chuyển cho những người dùng bị khuyết tật về thể chất bằng cách tích hợp Gemini như một công cụ hỗ trợ mạnh mẽ dựa trên ngôn ngữ tự nhiên.

Gemini đóng vai trò là bộ phận trong 3 nhân viên hỗ trợ của chúng tôi.
### Nhân viên lập kế hoạch
Nhân viên lập kế hoạch có trách nhiệm lập kế hoạch từ thành phần giao diện người dùng và ảnh chụp màn hình, thành phần giao diện người dùng được trích xuất từ Win32 UIAutomatic API, còn ảnh chụp màn hình từ Win32 User API sẽ yêu cầu Gemini lập kế hoạch từ những dữ liệu này.
Nhân viên hỗ trợ này chỉ có chức năng bắt đầu thực hiện kế hoạch và sẽ chuyển tới hệ thống lên kế hoạch đổ chuông.

### Xác định tác nhân
Xác định tác nhân chịu trách nhiệm xác định thành phần trên giao diện người dùng mà người dùng muốn tương tác, chẳng hạn như nút hoặc đường liên kết. Nhân viên hỗ trợ này sẽ sử dụng Gemini để xác định thành phần mà người dùng muốn tương tác.

### Tác nhân điều hướng
Tác nhân điều hướng chịu trách nhiệm thực hiện sự kiện chuột và bàn phím để tương tác với màn hình. Tác nhân này sẽ sử dụng Gemini để chuyển đổi ngôn ngữ tự nhiên như "nhấp chuột trái" thành quá trình thực thi bằng chuột và bàn phím.