Jayu

תיאור

Jayu הוא עוזר אישי מהפכני שמשתלב בצורה חלקה בין היכולות של Gemini לבין אינטראקציה במסך. Jayu משתמשת ב-Gemini כדי לספק חוויה שממוקדת במשתמש, לכל המשתמשים, החל ממשתמשים שמתמצאים בטכנולוגיה ועד למשתמשים עם ידע טכנולוגי מוגבל. אין קונטיינר של Docker, אין ממשק מורכב ואין LLM או VLM אחרים מלבד Gemini. כדי לשפר את נוחות השימוש, התכונות 'המרת דיבור לטקסט', 'המרת טקסט לדיבור' וזיהוי תנועות מובנות במכשיר.

היתרון של Jayu הוא היכולת הייחודית שלו לענות להנחיות על סמך המסך כרקע, וליצור אינטראקציה עם רכיבים במסך. Jayu יכול לעשות הכל, החל מכתיבת קוד על סמך תרשים ועד לאינטראקציה ישירה עם אפליקציות ולקריאת תרגומים בשידור חי.

מודל Flash משמש כמרכז הבקרה. אחרי שהוא מקבל הוראות מהמשתמש, המודל קורא למודלים אחרים של Gemini כדי לקבל עזרה במשימה שלו, אם צריך. באמצעות תכנון של הנחיות, מודלים של Flash מקיימים אינטראקציה ישירה עם Chrome ועונים על שאלות מהירות, בעוד שמודלים של Pro מאומנים להשתמש ביכולות החזותיות החזקות של Gemini כדי לנתח חלונות של אפליקציות. יכולות זיהוי האובייקטים של Gemini מאפשרות ל-Jayu ללחוץ על לחצנים שהוא רואה במסך.

אנחנו מבינים את סיכוני האבטחה שקשורים לגישה למסך או לקבצים שלכם. ל-Jayu אין גישה לתיקיות או לאפליקציות שלא מוצגות לו. Jayu יביט במסך רק אם תתבקשו לעשות זאת ישירות. בנוסף, Jayu לא שומר זיכרונות או יומנים של תמונות או הקלטות.