Jayu

Fungsinya

Jayu adalah asisten pribadi revolusioner yang mengintegrasikan kemampuan Gemini dengan interaksi di layar dengan lancar. Dengan melampaui batas kemampuan LLM, Jayu menggunakan Gemini untuk memberikan pengalaman yang berfokus pada pengguna, bagi semua orang, mulai dari pengguna yang paham teknologi hingga yang kurang paham teknologi. Tidak ada penampung docker, tidak ada antarmuka yang kompleks, dan tidak ada LLM atau VLM lain selain Gemini. Kemampuan speech-to-text, text-to-speech, dan pengenalan gestur sudah terintegrasi untuk kegunaan.

Kekuatan Jayu terletak pada kemampuan uniknya untuk menjawab perintah dengan layar Anda sebagai konteks dan berinteraksi dengan elemen di layar. Dari menulis kode berdasarkan diagram hingga berinteraksi langsung dengan aplikasi hingga membacakan terjemahan langsung, Jayu dapat melakukannya semua.

Model Flash digunakan sebagai pusat perintah. Setelah menerima petunjuk dari pengguna, model menggunakan panggilan fungsi untuk memanggil model Gemini lainnya guna membantu tugasnya jika diperlukan. Melalui rekayasa perintah, model Flash berinteraksi langsung dengan Chrome dan menjawab pertanyaan cepat, sedangkan model Pro dilatih untuk menggunakan kemampuan visi Gemini yang canggih untuk menganalisis jendela aplikasi. Selain itu, kemampuan deteksi objek Gemini memungkinkan Jayu mengklik tombol yang dilihatnya di layar.

Kami menyadari risiko keamanan yang ditimbulkan dengan memiliki akses ke layar atau file Anda; Jayu tidak dapat mengakses folder atau aplikasi apa pun yang tidak ditampilkan kepadanya. Jayu hanya akan melihat layar Anda jika diminta secara langsung untuk melakukannya. Jayu juga tidak menyimpan memori atau log gambar atau rekaman.