DeepLook

Ne işe yarar?

DeepLook, video gözetleme ve analizlere üretken yapay zeka işlevleri eklemek için Gemini modellerini kullanan yenilikçi bir platformdur. Bu işlevler arasında sohbet veya sesli komutla kullanıcı arayüzünü kontrol etme, kameralarda akıllı video analizi ve etkinlik algılama yer alır. DeepLook, doğal dil kullanarak kameraları hızlıca açma, kayıtlara erişme ve videoları dışa aktarma gibi işlemleri menüler ve bulunması zor widget'lar kullanmadan gerçekleştirebilir. En önemlisi, Görüntü Analizi sayesinde canlı kameralarda soru-cevap oturumu gerçekleştirebilir, geçmiş kayıtları özetleyebilir, nesneleri algılayabilir ve hatta tek başına yaşayan bir kişinin durumunu ailesine bildirebilirsiniz. Ayrıca, "Düşen oldu mu?" gibi cümleye dayalı etkinlikleri de tetikleyebilir. "Silah göründüğünde uyarı" veya yetişkin bakımı bağlamında durum analizi (ör. yaşlıları izleme).

DeepLook, kayıtlı etkinlikler gerçekleştiğinde kullanıcıları uyarabilir ve kameralarda manuel veya otomatik PTZ hareketleri (ör. kamerayı belirli bir çerçeve nesnesi üzerinde otomatik olarak ortalama) gerçekleştirebilir.
 
Sistem, maliyet-yarar oranı nedeniyle öncelikle Gemini-flash ile çalışır. Komutların ayrıştırılması büyük ölçüde Vertex AI işlev çağrımına dayanır. Görüntü analizi, model API'sine istemler aracılığıyla gönderilen video snippet'leri ve karo görüntü mozaikleriyle çalışır. DeepLook'un web ve Android sürümleri olacak. Sunucu, kameraları yerel olarak bağlayan ve kameralar ile sunucu arasında köprü görevi gören bir aracı kullanarak Firebase App Host ve Cloud Run'da çalışabilir.