MoodMind
Персонализированный трекер настроения: раскройте свои эмоции, сделайте свой день более ярким
Что он делает
MoodMind — это система обнаружения эмоций, интегрированная с персонализированными рекомендациями на основе обнаруженных эмоций. Система использует `cv2` (OpenCV) для захвата видеокадров и `DeepFace` для анализа эмоций.
На основе обнаруженной эмоции API Gemini вызывается для генерации рекомендации. Вызов API запрашивает короткую рекомендацию из пяти слов, адаптированную к конкретной эмоции. Рекомендации динамически генерируются для каждой обнаруженной эмоции: радость, грусть, гнев, нейтральность, удивление, страх и отвращение.
Захваченный видеокадр отображается с наложенным текстом, показывающим имя пользователя, возраст, обнаруженную эмоцию и соответствующую рекомендацию от API Gemini. Видеопоток обновляется в режиме реального времени, непрерывно анализируя и предоставляя рекомендации, пока пользователь не решит выйти из сеанса, закрыв видеопоток.
Модель Gemini (`gemini-1.5-flash`) инициализируется для обработки генерации контента. Для каждой обнаруженной эмоции вызывается метод `generate_content` модели с приглашением сгенерировать короткую рекомендацию. Затем сгенерированный текст отображается на видеопотоке.
Кроме того, система хранит данные пользователя, включая имя, возраст, обнаруженную эмоцию и рекомендацию, в Firebase Firestore. Видеопоток обновляется каждые 10 секунд, захватывая текущий кадр, анализируя эмоцию, генерируя рекомендацию и сохраняя данные в Firestore.
Построено с
- Трепетание
- Веб/Хром
- Firebase
Команда
К
BeezGroup
От
Уганда