DeepLook

機能

DeepLook は、Gemini モデルを使用して生成 AI 機能をビデオ監視と分析に追加する革新的なプラットフォームです。これらの機能は、チャットや音声による UI インターフェースの制御から、カメラでのインテリジェントな動画分析やアクティビティ検知まで多岐にわたります。DeepLook は、メニューや見つけにくいウィジェットを使用せずに、カメラのすばやい開閉、録画へのアクセス、動画のエクスポートなどのタスクを自然言語で実行できます。最も重要なのは、Vision 分析により、ライブカメラで Q&A を実施したり、過去の録画の概要を把握したり、物体を検出したり、単身で暮らす家族の様子を伝えたりできることです。また、「誰かが転んだ？」など、文章ベースのイベントをトリガーすることもできます。「武器が検出された場合はアラート」や、高齢者のモニタリングなど、成人ケアの文脈での状況分析。

さらに、DeepLook は、登録されたイベントが発生した場合にユーザーに警告し、カメラで手動または自動の PTZ 移動を実行できます。たとえば、特定のフレーム オブジェクトにカメラを自動的に中央に配置できます。
 
このシステムは、費用対効果が優れているため、主に Gemini-flash で動作します。コマンドの解析は、Vertex AI 関数呼び出しに大きく依存しています。画像分析は、プロンプト経由でモデル API に送信された動画スニペットとタイル画像モザイクで動作します。DeepLook には、ウェブ版と Android 版があります。サーバーは Firebase App Host と Cloud Run で実行できます。カメラをローカルで接続し、カメラとサーバーの間のブリッジとして機能するエージェントを使用します。