TwilightNav

Giúp những người khiếm thị sử dụng Internet.

Ý nghĩa

Ứng dụng này sử dụng API Gemini để tăng cường khả năng tương tác của người dùng thông qua hai chức năng chính:

Phân tích và cấu trúc nội dung: API Gemini phân tích định dạng HTML của một trang web, chuyển đổi định dạng đó thành cấu trúc cây phân cấp. Trong cấu trúc này, mỗi nút đại diện cho một phần tử nội dung cụ thể, chứa cả nội dung mô tả phần tử đó và nội dung tóm tắt về các phần tử con của phần tử đó. Cách sắp xếp này cho phép xử lý và hiểu nội dung trang web một cách hiệu quả.

Nhận dạng ý định và điều hướng: API Gemini cũng đóng vai trò quan trọng trong việc hiểu hướng dẫn của người dùng. Lớp này xử lý dữ liệu đầu vào bằng giọng nói để phát hiện ý định của người dùng và xác định nút mục tiêu tương ứng trong cấu trúc cây. API này phân loại các lệnh của người dùng thành 6 ý định: chuyển đến một trang web, tóm tắt, đọc nội dung, truy vấn thông tin, nhấp vào các phần tử và điền vào biểu mẫu.

Bằng cách tận dụng các chức năng này, ứng dụng cho phép người dùng thực hiện nhiều thao tác trên web thông qua lệnh thoại và cử chỉ, giúp trải nghiệm duyệt web trở nên dễ tiếp cận và trực quan hơn.

Được tạo bằng

  • Android

Nhóm

Người cập nhật

TwilightNav

Từ

Úc