MoodMind

وظيفتها

MoodMind هو نظام لرصد المشاعر مُدمَج مع اقتراحات مخصّصة استنادًا إلى المشاعر التي يتم رصدها. يستخدم النظام cv2‏ (OpenCV) لالتقاط لقطات الفيديو وDeepFace لتحليل المشاعر.

استنادًا إلى المشاعر التي يتم رصدها، يتمّ استدعاء Gemini API لإنشاء اقتراح. تطلب طلب البيانات من واجهة برمجة التطبيقات اقتراحًا قصيرًا مكوّنًا من خمس كلمات ومخصّصًا للعاطفة المحدّدة. يتم إنشاء الاقتراحات بشكل ديناميكي لكل عاطفة يتم رصدها: سعيد، حزين، غاضب، محايد، مفاجأة، خوف، اشمئزاز.

يتم عرض إطار الفيديو الذي تم التقاطه مع نص مركّب يعرض اسم المستخدم وعمره والعاطفة التي تم رصدها والاقتراح المقابل من Gemini API. يتم تعديل خلاصة الفيديو في الوقت الفعلي، وتتم تحليلها باستمرار وتقديم اقتراحات إلى أن يقرر المستخدم إنهاء الجلسة من خلال إغلاق خلاصة الفيديو.

يتم إعداد نموذج Gemini ("gemini-1.5-flash") لمعالجة إنشاء المحتوى. لكل عاطفة يتم رصدها، يتمّ استدعاء طريقة generate_content في النموذج مع طلب لإنشاء اقتراح قصير. ويتم بعد ذلك عرض النص الذي تم إنشاؤه في خلاصة الفيديو.

بالإضافة إلى ذلك، يخزِّن النظام بيانات المستخدم، بما في ذلك الاسم والعمر والمشاعر التي تم رصدها والاقتراحات، في Firebase Firestore. يتم تعديل خلاصة الفيديو كل 10 ثوانٍ، ما يؤدي إلى التقاط اللقطة الحالية وتحليل المشاعر وإنشاء اقتراح وتخزين البيانات في Firestore.