SecondEye

תיאור

SecondEye הוא עוזר חזותי אינטראקטיבי שניתן ללמד אותו. אפשר להשתמש בו במגוון משימות ותרחישים לדוגמה שקשורים לראייה. אפשר גם ללמד אותו לבצע משימות ראייה בהתאמה אישית ללא אימון או תכנות. והכול באופן אינטראקטיבי וחוזר.
אפשר ליצור את SecondEye רק באמצעות Gemini כרגע, בגלל היכולות הייחודיות של המודל הבא:
1. זיהוי אובייקטים עם היכולת להחזיר מיקומים מדויקים של תיבות מסגרת
2. תמיכה בסרטונים מקומיים עם אפשרות להציג מידע עם חותמת זמן
3. חלון הקשר גדול
SecondEye משתמש ביכולות האלה כדי להציע חוויות AI ייחודיות וחדשות לגמרי:
• בתמונות (באמצעות היכולת מס' 1):
◦ הגדרות של אובייקטים עם הערות
◦ שאילתות לגבי חלק ספציפי בתמונה
◦ שיפור:
▪ חיפוש אובייקטים
▪ איך לתקן או להרכיב שאלות
▪ בקשות למשוב חזותי
◦ לימוד המודל על חלק בתמונה עם הערות
• בסרטונים (באמצעות היכולת מס' 2):
◦ חוויית חיפוש סרטונים משופרת
• בסרטונים בשידור חי מהמצלמה (באמצעות היכולת מס' 3):
◦ ניתוח סרטונים מותאם אישית בזמן אמת
◦ לימוד המודל משהו באמצעות סרטון
◦ סיוע חזותי בזמן אמת לאנשים עם לקויות ראייה, עם היכולת לשנן פרצופים, אובייקטים ומקומות לצורך זיהוי עתידי.
• לשיתוף מסך בשידור חי (באמצעות היכולת מס' 3):
◦ הדרכה של המודל בתהליך עבודה
◦ תמיכה ב-IT או בתכנות.
◦ שיפור הגלישה באינטרנט והחוויה הכללית של השימוש במחשב לאנשים עם לקויות ראייה