Jayu

Ý nghĩa

Jayu là một trợ lý cá nhân mang tính cách mạng, tích hợp liền mạch các tính năng của Gemini với hoạt động tương tác trên màn hình. Bằng cách phá vỡ những giới hạn về những gì LLM có thể làm được, Jayu sử dụng Gemini để mang đến trải nghiệm tập trung vào người dùng, cho mọi người, từ những người dùng am hiểu công nghệ đến những người gặp khó khăn về công nghệ. Không có vùng chứa Docker, không có giao diện phức tạp và không có LLM hoặc VLM nào khác ngoài Gemini. Các tính năng chuyển lời nói thành văn bản, chuyển văn bản sang lời nói và nhận dạng cử chỉ được tích hợp sẵn để tăng khả năng hữu dụng.

Sức mạnh của Jayu nằm ở khả năng độc đáo là trả lời các câu lệnh bằng màn hình của bạn làm ngữ cảnh và tương tác với các thành phần trên màn hình. Từ việc viết mã dựa trên sơ đồ đến tương tác trực tiếp với ứng dụng, đọc to bản dịch trực tiếp, Jayu có thể làm tất cả.

Mô hình Flash được dùng làm trung tâm điều khiển. Sau khi nhận được hướng dẫn từ người dùng, mô hình sẽ sử dụng lệnh gọi hàm để gọi các mô hình Gemini khác hỗ trợ thực hiện nhiệm vụ nếu cần. Thông qua kỹ thuật câu lệnh, các mô hình Flash tương tác trực tiếp với Chrome và trả lời các câu hỏi nhanh, trong khi các mô hình Pro được huấn luyện để sử dụng các tính năng thị giác mạnh mẽ của Gemini nhằm phân tích các cửa sổ ứng dụng. Ngoài ra, tính năng phát hiện đối tượng của Gemini cho phép Jayu nhấp vào các nút mà nó nhìn thấy trên màn hình.

Chúng tôi nhận thấy các rủi ro bảo mật khi có quyền truy cập vào màn hình hoặc tệp của bạn; Jayu không thể truy cập vào các thư mục hoặc ứng dụng không hiển thị với nó. Jayu sẽ chỉ nhìn vào màn hình của bạn nếu được nhắc trực tiếp. Jayu cũng không giữ lại bất kỳ bộ nhớ hoặc nhật ký nào về hình ảnh hoặc bản ghi.