MoodMind

תיאור

MoodMind היא מערכת לזיהוי רגשות שמשתלבת עם המלצות מותאמות אישית על סמך הרגשות שזוהו. המערכת משתמשת ב-cv2‏ (OpenCV) כדי לצלם פריימים של סרטונים וב-DeepFace כדי לנתח את הרגשות.

על סמך הרגש שזוהה, מתבצעת קריאה ל-Gemini API כדי ליצור המלצה. קריאת ה-API מבקשת המלצה קצרה של חמש מילים שמותאמת לרגש הספציפי. ההמלצות נוצרות באופן דינמי לכל רגש שזוהה: שמחה, עצב, כעס, ניטרליות, הפתעה, פחד ודחייה.

פריים הסרטון שצולם מוצג עם טקסט שכבה שבו מוצגים שם המשתמש, הגיל, הרגש שזוהה וההמלצה התואמת מ-Gemini API. פיד הסרטונים מתעדכן בזמן אמת, ומנתח ומספק המלצות באופן רציף עד שהמשתמש מחליט לסיים את הסשן על ידי סגירת פיד הסרטונים.

מודל Gemini‏ (‎'gemini-1.5-flash'‎) מופעל כדי לטפל ביצירת התוכן. לכל רגש שזוהה, המערכת קוראת ל-method‏ generate_content של המודל עם הנחיה ליצירת המלצה קצרה. לאחר מכן, הטקסט שנוצר מוצג בפיד הסרטונים.

בנוסף, המערכת שומרת את נתוני המשתמשים, כולל שם, גיל, רגש שזוהה והמלצה, ב-Firebase Firestore. פיד הסרטונים מתעדכן כל 10 שניות, מתעד את הפריים הנוכחי, מנתח את הרגש, יוצר המלצה ושומר את הנתונים ב-Firestore.