DeepLook

作用

DeepLook 是一个创新平台，它采用 Gemini 模型为视频监控和分析添加了生成式 AI 功能。这些功能包括通过聊天或语音控制界面，以及在摄像头上进行智能视频分析和事件检测。DeepLook 可以使用自然语言执行任务，例如快速打开摄像头、访问录制内容和导出视频，而无需使用菜单和难以找到的 widget。最重要的是，借助视觉分析，您可以对实时摄像头进行问答、总结过去的录制内容、检测物体，甚至让家人知道独居人士的情况。此外，它还可以触发基于句子的事件，例如“有人摔倒了吗？”“出现武器时提醒”或成人护理场景（例如监控老人）中的情境分析。

此外，DeepLook 还可以在发生注册事件时提醒用户，并在摄像头上执行手动或自动 PTZ 移动，例如自动将摄像头对准确定的画面对象。
 
由于 Gemini-flash 的性价比，该系统主要使用 Gemini-flash。命令解析在很大程度上依赖于 Vertex AI 函数调用。图片分析功能可处理通过提示向模型 API 提交的视频片段和拼接图片马赛克。DeepLook 将推出 Web 版和 Android 版。服务器可以在 Firebase App Host 和 Cloud Run 上运行，使用一个代理在本地连接摄像头，充当摄像头与服务器之间的桥梁。