SecondEye

وظيفتها

‫SecondEye هو مساعد مرئي تفاعلي وقابل للتعلّم. ويمكن استخدامه لمجموعة متنوعة من المهام وحالات الاستخدام المتعلّقة بالرؤية. ويمكن أيضًا تعليمه تنفيذ مهام مرئية مخصّصة بدون تدريب أو برمجة. وكل ذلك بطريقة تفاعلية ومتكرّرة.
لا يمكن حاليًا إنشاء SecondEye إلا باستخدام Gemini بسبب الإمكانات الفريدة التالية للنموذج:
1. رصد الأجسام مع إمكانية عرض مواضع دقيقة لمربّعات الحدود
2. إتاحة استخدام الفيديوهات الأصلية مع إمكانية عرض معلومات مصحوبة بطوابع زمنية
3. نافذة سياق كبيرة
تستخدِم SecondEye هذه الإمكانات لتقديم تجارب فريدة وجديدة تمامًا من خلال الذكاء الاصطناعي:
• بالنسبة إلى الصور (باستخدام الميزة رقم 1):
◦ تعريفات مُشارَك عليها للعناصر
◦ طرح أسئلة عن جزء معيّن من الصورة
◦ تحسين:
▪ البحث عن العناصر
▪ كيفية إصلاح الأسئلة أو تجميعها
▪ طلبات الملاحظات المرئية
◦ تعليم النموذج معلومات عن جزء مُشارَك عليه من الصورة
• بالنسبة إلى الفيديو (باستخدام الميزة رقم 2):
◦ تجربة محسّنة للبحث عن الفيديو
• بالنسبة إلى الفيديو المباشر من الكاميرا (باستخدام الميزة رقم 3):
◦ تحليل الفيديو في الوقت الفعلي بشكل مخصّص
◦ تعليم النموذج معلومات من خلال فيديو
◦ مساعدة مرئية في الوقت الفعلي للأشخاص الذين يعانون من عجز بصري، مع إمكانية حفظ الوجوه والأشياء والأماكن للتعرّف عليها في المستقبل
• لمشاركة الشاشة مباشرةً (باستخدام الميزة رقم 3):
◦ تعليم النموذج سير العمل
◦ الدعم في مجال تكنولوجيا المعلومات أو البرمجة
◦ تحسين تجربة تصفّح الويب والاستخدام العام للكمبيوتر للأشخاص الذين يعانون من عجز بصري