MoodMind

Funktion

MoodMind ist ein System zur Erkennung von Emotionen, das personalisierte Empfehlungen basierend auf den erkannten Emotionen enthält. Das System verwendet „cv2“ (OpenCV) zum Erfassen von Videoframes und „DeepFace“ zur Emotionsanalyse.

Basierend auf der erkannten Emotion wird die Gemini API aufgerufen, um eine Empfehlung zu generieren. Der API-Aufruf fordert eine kurze Empfehlung mit fünf Wörtern an, die auf die jeweilige Emotion zugeschnitten ist. Die Empfehlungen werden dynamisch für jede erkannte Emotion generiert: glücklich, traurig, wütend, neutral, überrascht, verängstigt und angewidert.

Der aufgenommene Videoframe wird mit einem Overlay-Text angezeigt, der den Namen, das Alter, die erkannte Emotion und die entsprechende Empfehlung der Gemini API enthält. Der Videofeed wird in Echtzeit aktualisiert. Es werden kontinuierlich Analysen durchgeführt und Empfehlungen gegeben, bis der Nutzer die Sitzung beendet, indem er den Videofeed schließt.

Das Gemini-Modell (`gemini-1.5-flash`) wird für die Inhaltsgenerierung initialisiert. Für jede erkannte Emotion wird die Methode „generate_content“ des Modells mit einem Prompt aufgerufen, um eine kurze Empfehlung zu generieren. Der generierte Text wird dann im Videofeed angezeigt.

Außerdem speichert das System Nutzerdaten wie Name, Alter, erkannte Emotionen und Empfehlungen in Firebase Firestore. Der Videofeed wird alle 10 Sekunden aktualisiert. Dabei wird der aktuelle Frame erfasst, die Emotion analysiert, eine Empfehlung generiert und die Daten in Firestore gespeichert.