MoodMind

کاری که انجام می دهد

MoodMind یک سیستم تشخیص احساسات است که با توصیه های شخصی بر اساس احساسات شناسایی شده یکپارچه شده است. این سیستم از «cv2» (OpenCV) برای گرفتن فریم های ویدیویی و «DeepFace» برای تجزیه و تحلیل احساسات استفاده می کند.

بر اساس احساسات شناسایی شده، API Gemini برای ایجاد یک توصیه فراخوانی می شود. فراخوانی API یک توصیه کوتاه و پنج کلمه ای متناسب با احساس خاص درخواست می کند. توصیه ها به صورت پویا برای هر احساس شناسایی شده ایجاد می شوند: شاد، غمگین، عصبانی، خنثی، تعجب، ترس و انزجار.

قاب ویدیوی گرفته شده با متنی همپوشانی نشان داده می‌شود که نام کاربر، سن، احساسات شناسایی‌شده و توصیه‌های مربوطه از Gemini API را نشان می‌دهد. فید ویدیو در زمان واقعی به روز می شود، به طور مداوم تجزیه و تحلیل می کند و توصیه هایی ارائه می دهد تا زمانی که کاربر تصمیم بگیرد با بستن فید ویدیو از جلسه خارج شود.

مدل Gemini («gemini-1.5-flash») برای مدیریت تولید محتوا مقداردهی اولیه شده است. برای هر احساس شناسایی شده، روش «تولید_محتوا» مدل با یک اعلان برای ایجاد یک توصیه کوتاه فراخوانی می شود. سپس متن تولید شده در فید ویدیو نمایش داده می شود.

علاوه بر این، سیستم داده‌های کاربر، از جمله نام، سن، احساسات شناسایی شده و توصیه‌ها را در Firebase Firestore ذخیره می‌کند. فید ویدیو هر 10 ثانیه یکبار به روز می شود، فریم فعلی را می گیرد، احساسات را تجزیه و تحلیل می کند، یک توصیه ایجاد می کند و داده ها را در Firestore ذخیره می کند.