Jayu

การทำงาน

Jayu เป็นผู้ช่วยส่วนตัวที่ปฏิวัติวงการซึ่งผสานความสามารถของ Gemini เข้ากับการโต้ตอบบนหน้าจอได้อย่างราบรื่น Jayu ทำลายขีดจำกัดของสิ่งที่ LLM ควรทำได้ โดยใช้ Gemini เพื่อมอบประสบการณ์ที่เน้นผู้ใช้เป็นหลักสำหรับทุกคน ตั้งแต่ผู้ใช้ที่เชี่ยวชาญด้านเทคโนโลยีไปจนถึงผู้ใช้ที่ไม่ค่อยเชี่ยวชาญด้านเทคโนโลยี ไม่มีคอนเทนเนอร์ Docker, ไม่มีอินเทอร์เฟซที่ซับซ้อน และไม่มี LLM หรือ VLM อื่นๆ นอกเหนือจาก Gemini ความสามารถในการแปลงคำพูดเป็นข้อความ การอ่านออกเสียงข้อความ และการจดจำท่าทางสัมผัสมีให้ใช้งานในตัว

จุดแข็งของ Jayu คือความสามารถในการตอบพรอมต์โดยใช้หน้าจอเป็นบริบทและโต้ตอบกับองค์ประกอบบนหน้าจอ Jayu ทำได้ทุกอย่าง ตั้งแต่การเขียนโค้ดตามแผนภาพ ไปจนถึงการโต้ตอบกับแอปโดยตรง และการอ่านคำแปลแบบสด

มีการใช้โมเดล Flash เป็นศูนย์บัญชาการ หลังจากได้รับคำสั่งจากผู้ใช้แล้ว โมเดลจะใช้การเรียกฟังก์ชันเพื่อเรียกโมเดล Gemini อื่นๆ ให้มาช่วยทำงาน หากจำเป็น โมเดล Flash จะโต้ตอบกับ Chrome และตอบคำถามสั้นๆ ได้โดยตรงผ่านวิศวกรรมพรอมต์ ส่วนโมเดล Pro ได้รับการฝึกให้ใช้ความสามารถด้านวิสัยทัศน์อันทรงพลังของ Gemini เพื่อวิเคราะห์หน้าต่างแอป และความสามารถในการตรวจจับวัตถุของ Gemini ช่วยให้ Jayu คลิกปุ่มที่เห็นบนหน้าจอได้

เราตระหนักถึงความเสี่ยงด้านความปลอดภัยของการเข้าถึงหน้าจอหรือไฟล์ของคุณ Jayu จึงไม่สามารถเข้าถึงโฟลเดอร์หรือแอปที่ไม่ได้แสดงให้ Jayu เห็น Jayu จะดูหน้าจอก็ต่อเมื่อได้รับข้อความแจ้งให้ดำเนินการโดยตรงเท่านั้น นอกจากนี้ Jayu จะไม่เก็บข้อมูลความทรงจำหรือบันทึกรูปภาพหรือไฟล์บันทึกเสียงไว้