DeepLook

기능

DeepLook은 Gemini 모델을 사용하여 동영상 감시 및 분석에 생성형 AI 기능을 추가하는 혁신적인 플랫폼입니다. 이러한 기능은 채팅이나 음성을 통한 UI 인터페이스 제어에서부터 카메라의 지능형 동영상 분석 및 이벤트 감지에 이르기까지 다양합니다. DeepLook은 메뉴와 찾기 어려운 위젯을 사용하지 않고도 카메라를 빠르게 열고, 녹화 파일에 액세스하고, 동영상을 내보내는 등 자연어를 사용하여 작업을 실행할 수 있습니다. 가장 중요한 점은 비전 분석을 통해 실시간 카메라에서 Q&A를 진행하고, 이전 녹화 파일을 요약하고, 물체를 감지하고, 혼자 사는 가족의 상태를 가족에게 알릴 수도 있다는 것입니다. 또한 '누가 넘어졌나요?'와 같은 문장 기반 이벤트를 트리거할 수 있습니다. '무기가 표시되면 알림' 또는 노인 모니터링과 같은 성인 관리 맥락에서의 상황 분석.

또한 DeepLook은 등록된 이벤트가 발생하면 사용자에게 알리고 카메라에서 수동 또는 자동 PTZ 이동을 실행할 수 있습니다(예: 카메라를 결정된 프레임 객체에 자동으로 중앙에 배치).
 
이 시스템은 비용 대비 이익이 우수하여 주로 Gemini-flash와 함께 작동합니다. 명령어 파싱은 Vertex AI 함수 호출에 크게 의존합니다. 이미지 분석은 프롬프트를 통해 모델 API에 제출된 동영상 스니펫 및 타일식 이미지 모자이크를 사용합니다. DeepLook에는 웹 및 Android 버전이 있습니다. 서버는 Firebase App Host 및 Cloud Run에서 실행할 수 있으며, 로컬에서 카메라를 연결하고 카메라와 서버 간의 다리 역할을 하는 에이전트를 사용합니다.