MoodMind

Działanie

MoodMind to system wykrywania emocji zintegrowany ze spersonalizowanymi rekomendacjami na podstawie wykrytych emocji. System używa interfejsu cv2 (OpenCV) do przechwytywania klatek wideo i DeepFace do analizy emocji.

Na podstawie wykrytej emocji wywoływany jest interfejs Gemini API, aby wygenerować rekomendację. Wywołanie interfejsu API powoduje wyświetlenie krótkiej rekomendacji zawierającej 5 słów, dostosowanej do konkretnego nastroju. Rekomendacje są generowane dynamicznie dla każdego wykrytego uczucia: szczęścia, smutku, złości, neutralności, zaskoczenia, strachu i obrzydzenia.

Uchwycony kadr z filmu jest wyświetlany z tekstem nakładki zawierającym imię i nazwisko użytkownika, jego wiek, wykryte uczucie oraz odpowiednią rekomendację z interfejsu Gemini API. Strumień wideo jest aktualizowany w czasie rzeczywistym, stale analizując i podając rekomendacje, dopóki użytkownik nie zdecyduje się zakończyć sesji przez zamknięcie strumienia wideo.

Model Gemini (``gemini-1.5-flash``) jest inicjowany w celu obsługi generowania treści. W przypadku każdego wykrytego rodzaju emocji wywoływana jest metoda „generate_content” modelu z promptem, aby wygenerować krótką rekomendację. Wygenerowany tekst jest następnie wyświetlany na pasku filmowym.

Dodatkowo system przechowuje dane użytkownika, w tym imię i nazwisko, wiek, wykryte emocje i rekomendacje, w Firebase Firestore. Dane wideo są aktualizowane co 10 sekund. System rejestruje bieżącą klatkę, analizuje emocje, generuje rekomendację i przechowuje dane w Firestore.