MoodMind

การทำงาน

MoodMind เป็นระบบตรวจจับอารมณ์ที่ผสานรวมกับคําแนะนําที่ปรับเปลี่ยนในแบบของคุณตามอารมณ์ที่ตรวจพบ ระบบใช้ `cv2` (OpenCV) ในการจับเฟรมวิดีโอ และ `DeepFace` เพื่อวิเคราะห์อารมณ์

ระบบจะเรียกใช้ Gemini API เพื่อสร้างคําแนะนําตามอารมณ์ที่ตรวจพบ การเรียก API จะขอคําแนะนําสั้นๆ 5 คําที่ปรับให้เหมาะกับอารมณ์ที่เฉพาะเจาะจง ระบบจะสร้างคําแนะนําแบบไดนามิกสําหรับอารมณ์ที่ตรวจพบแต่ละรายการ ได้แก่ ดีใจ เศร้า โกรธ เฉยเฉย ประหลาดใจ กลัว และขยะแขยง

เฟรมวิดีโอที่บันทึกไว้จะแสดงพร้อมข้อความวางซ้อนที่แสดงชื่อ อายุ อารมณ์ที่ตรวจพบ และคําแนะนําที่เกี่ยวข้องจาก Gemini API ของผู้ใช้ ฟีดวิดีโอจะอัปเดตแบบเรียลไทม์ โดยวิเคราะห์และแสดงคําแนะนําอย่างต่อเนื่องจนกว่าผู้ใช้จะตัดสินใจออกจากเซสชันด้วยการปิดฟีดวิดีโอ

ระบบจะเริ่มต้นโมเดล Gemini ("gemini-1.5-flash") เพื่อจัดการการสร้างเนื้อหา สําหรับอารมณ์ที่ตรวจพบแต่ละรายการ ระบบจะเรียกใช้เมธอด `generate_content` ของโมเดลพร้อมพรอมต์เพื่อสร้างคําแนะนําสั้นๆ จากนั้นระบบจะแสดงข้อความที่สร้างขึ้นบนฟีดวิดีโอ

นอกจากนี้ ระบบจะจัดเก็บข้อมูลผู้ใช้ ซึ่งรวมถึงชื่อ อายุ อารมณ์ที่ตรวจพบ และคำแนะนำไว้ใน Firebase Firestore ฟีดวิดีโอจะอัปเดตทุก 10 วินาที โดยจับเฟรมปัจจุบัน วิเคราะห์อารมณ์ สร้างคําแนะนํา และจัดเก็บข้อมูลใน Firestore