MoodMind

Ý nghĩa

MoodMind là một hệ thống phát hiện cảm xúc được tích hợp với các đề xuất được cá nhân hoá dựa trên cảm xúc được phát hiện. Hệ thống sử dụng `cv2` (OpenCV) để chụp khung hình video và `DeepFace` để phân tích cảm xúc.

Dựa trên cảm xúc được phát hiện, Gemini API sẽ được gọi để tạo đề xuất. Lệnh gọi API yêu cầu một đề xuất ngắn gồm 5 từ, được điều chỉnh theo cảm xúc cụ thể. Các đề xuất được tạo động cho từng cảm xúc được phát hiện: vui, buồn, tức giận, trung tính, ngạc nhiên, sợ hãi và ghê tởm.

Khung video đã chụp được hiển thị cùng với văn bản lớp phủ cho biết tên, tuổi, cảm xúc được phát hiện và đề xuất tương ứng của API Gemini. Nguồn cấp dữ liệu video cập nhật theo thời gian thực, liên tục phân tích và đưa ra đề xuất cho đến khi người dùng quyết định thoát phiên bằng cách đóng nguồn cấp dữ liệu video.

Mô hình Gemini ("gemini-1.5-flash") được khởi chạy để xử lý việc tạo nội dung. Đối với mỗi cảm xúc được phát hiện, phương thức "generate_content" của mô hình sẽ được gọi kèm theo lời nhắc để tạo một đề xuất ngắn. Sau đó, văn bản được tạo sẽ hiển thị trên nguồn cấp dữ liệu video.

Ngoài ra, hệ thống còn lưu trữ dữ liệu người dùng, bao gồm tên, tuổi, cảm xúc được phát hiện và đề xuất trong Firebase Firestore. Nguồn cấp dữ liệu video cập nhật 10 giây một lần, chụp khung hình hiện tại, phân tích cảm xúc, tạo đề xuất và lưu trữ dữ liệu trong Firestore.