DeepLook

Что он делает

DeepLook — это инновационная платформа, которая использует модели Gemini для добавления функций генеративного ИИ к видеонаблюдению и аналитике. Эти функции варьируются от управления интерфейсом пользовательского интерфейса через чат или голос до интеллектуального анализа видео и обнаружения событий на камерах. DeepLook может выполнять задачи с использованием естественного языка, такие как быстрое открытие камер, доступ к записям и экспорт видео без использования меню и труднодоступных виджетов. Самое главное, с помощью аналитики Vision можно выполнять вопросы и ответы на камерах в реальном времени, суммировать прошлые записи, обнаруживать объекты и даже сообщать семье, как поживает человек, живущий один. Кроме того, он может инициировать события на основе предложений, такие как «Кто-то упал?», «Оповестить, если появилось оружие» или ситуационный анализ в контексте ухода за взрослыми, например, наблюдение за пожилыми людьми.

Кроме того, DeepLook может оповещать пользователей о возникновении зарегистрированных событий и выполнять ручные или автоматические PTZ-движения на камерах, например, автоматически центрировать камеру на определенном объекте кадра.

Система работает в основном с Gemini-flash из-за его соотношения цена-качество. Разбор команд в значительной степени зависит от вызова функций AI вершин. Анализ изображений работает с видеофрагментами и мозаиками изображений, отправляемых через запросы в API модели. DeepLook будет иметь версии для веб-сайтов и Android. Сервер может работать на Firebase App Host и Cloud Run, используя агента, который локально соединяет камеры, выступая в качестве моста между ними и сервером.