MoodMind

Персонализированный трекер настроения: раскройте свои эмоции, сделайте свой день более ярким

Что он делает

MoodMind — это система обнаружения эмоций, интегрированная с персонализированными рекомендациями на основе обнаруженных эмоций. Система использует `cv2` (OpenCV) для захвата видеокадров и `DeepFace` для анализа эмоций.

На основе обнаруженной эмоции API Gemini вызывается для генерации рекомендации. Вызов API запрашивает короткую рекомендацию из пяти слов, адаптированную к конкретной эмоции. Рекомендации динамически генерируются для каждой обнаруженной эмоции: радость, грусть, гнев, нейтральность, удивление, страх и отвращение.

Захваченный видеокадр отображается с наложенным текстом, показывающим имя пользователя, возраст, обнаруженную эмоцию и соответствующую рекомендацию от API Gemini. Видеопоток обновляется в режиме реального времени, непрерывно анализируя и предоставляя рекомендации, пока пользователь не решит выйти из сеанса, закрыв видеопоток.

Модель Gemini (`gemini-1.5-flash`) инициализируется для обработки генерации контента. Для каждой обнаруженной эмоции вызывается метод `generate_content` модели с приглашением сгенерировать короткую рекомендацию. Затем сгенерированный текст отображается на видеопотоке.

Кроме того, система хранит данные пользователя, включая имя, возраст, обнаруженную эмоцию и рекомендацию, в Firebase Firestore. Видеопоток обновляется каждые 10 секунд, захватывая текущий кадр, анализируя эмоцию, генерируя рекомендацию и сохраняя данные в Firestore.

Построено с

  • Трепетание
  • Веб/Хром
  • Firebase

Команда

К

BeezGroup

От

Уганда