DeepLook

وظيفتها

‫DeepLook هي منصة مبتكرة تستخدِم نماذج Gemini لإضافة وظائف الذكاء الاصطناعي التوليدي إلى مراقبة الفيديو والتحليلات. وتشمل هذه الوظائف التحكّم في واجهة المستخدم من خلال المحادثة أو الصوت، وتحليل الفيديو الذكي ورصد الأحداث على الكاميرات. يمكن أن تؤدي تقنية DeepLook المهام باستخدام لغة طبيعية، مثل فتح الكاميرات بسرعة والوصول إلى التسجيلات وتصدير الفيديوهات بدون استخدام القوائم والتطبيقات المصغّرة التي يصعب العثور عليها. والأهم من ذلك، من خلال تحليلات "الرؤية"، يمكن إجراء جلسات أسئلة وأجوبة على الكاميرات المباشرة وتلخيص التسجيلات السابقة ورصد الأجسام وحتى إطلاع العائلة على حالة شخص يعيش بمفرده. بالإضافة إلى ذلك، يمكن أن يؤدي ذلك إلى بدء أحداث مستندة إلى الجملة، مثل "هل سقط أحدهم؟". "تنبيه في حال ظهور سلاح" أو تحليل الموقف في سياق رعاية البالغين، مثل مراقبة كبار السن.

بالإضافة إلى ذلك، يمكن أن يُنبّه DeepLook المستخدمين في حال حدوث أحداث مسجّلة وينفّذ حركات PTZ يدوية أو تلقائية على الكاميرات، مثل ضبط الكاميرا تلقائيًا في منتصف إطار محدّد.
 
يعمل النظام بشكل أساسي مع فلاش Gemini بسبب نسبة التكلفة إلى الفائدة. يعتمد تحليل الأوامر بشكل كبير على ميزة "استدعاء وظائف الذكاء الاصطناعي من Vertex". تعمل ميزة "تحليل الصور" مع مقتطفات الفيديو وفسيفساء الصور المُجمَّعة التي يتم إرسالها من خلال طلبات إلى واجهة برمجة التطبيقات الخاصة بالنموذج. سيتوفّر تطبيق DeepLook لأجهزة Android والويب. يمكن تشغيل الخادم على Firebase App Host وCloud Run باستخدام وكيل يربط الكاميرات محليًا، ما يشكّل جسرًا بينها وبين الخادم.