DeepLook

תיאור

DeepLook היא פלטפורמה חדשנית שמשתמשת במודלים של Gemini כדי להוסיף פונקציות של AI גנרטיבי למעקב וידאו ולניתוח נתונים. הפונקציות האלה נעות בין שליטה בממשק המשתמש באמצעות צ'אט או קול לבין ניתוח וידאו חכם וזיהוי אירועים במצלמות. DeepLook יכול לבצע משימות באמצעות שפה טבעית, כמו פתיחת מצלמות במהירות, גישה להקלטות וייצוא סרטונים בלי להשתמש בתפריטים ובווידג'טים שקשה למצוא. והכי חשוב, באמצעות ניתוח הנתונים של Vision אפשר לענות על שאלות במצלמות בשידור חי, לסכם הקלטות קודמות, לזהות אובייקטים ואפילו לעדכן את המשפחה של מי שגר לבד איך הוא מרגיש. בנוסף, הוא יכול להפעיל אירועים שמבוססים על משפטים, כמו "האם מישהו נפל?", 'התרעה אם נראה נשק' או ניתוח מצבים בהקשר של טיפול במבוגרים, כמו מעקב אחרי קשישים.

בנוסף, DeepLook יכול להתריע למשתמשים אם מתרחשים אירועים רשומים ולבצע תנועות PTZ ידניות או אוטומטיות במצלמות, כמו מרכוז אוטומטי של המצלמה על אובייקט מסוים בפריים.
 
המערכת פועלת בעיקר עם Gemini-flash בגלל יחס העלות-תועלת שלה. ניתוח הפקודות מסתמך במידה רבה על קריאה לפונקציות של vertex AI. ניתוח תמונות פועל עם קטעי וידאו ומוזיקת תמונות בפריסה של משבצות שנשלחים באמצעות הנחיות ל-Model API. ל-DeepLook יהיו גרסאות לאינטרנט ול-Android. השרת יכול לפעול ב-Firebase App Host וב-Cloud Run באמצעות סוכן שמחבר את המצלמות באופן מקומי, ומשממש כגשר ביניהן לבין השרת.