MoodMind

Çfarë bën

MoodMind është një sistem zbulimi i emocioneve i integruar me rekomandime të personalizuara bazuar në emocionet e zbuluara. Sistemi përdor 'cv2' (OpenCV) për kapjen e kornizave të videos dhe 'DeepFace' për analizën e emocioneve.

Bazuar në emocionin e zbuluar, API Binjakët thirret për të gjeneruar një rekomandim. Thirrja API kërkon një rekomandim të shkurtër, me pesë fjalë, të përshtatur për emocionin specifik. Rekomandimet gjenerohen në mënyrë dinamike për çdo emocion të zbuluar: i lumtur, i trishtuar, i zemëruar, neutral, habi, frikë dhe neveri.

Korniza e videos së kapur shfaqet me tekst mbivendosje që tregon emrin e përdoruesit, moshën, emocionin e zbuluar dhe rekomandimin përkatës nga Gemini API. Furnizimi i videove përditësohet në kohë reale, duke analizuar dhe ofruar vazhdimisht rekomandime derisa përdoruesi të vendosë të largohet nga sesioni duke mbyllur furnizimin e videos.

Modeli Gemini (`gemini-1.5-flash`) është inicializuar për të trajtuar gjenerimin e përmbajtjes. Për çdo emocion të zbuluar, metoda e modelit "gjeneroni_përmbajtjen" thirret me një kërkesë për të gjeneruar një rekomandim të shkurtër. Teksti i krijuar më pas shfaqet në burimin e videos.

Për më tepër, sistemi ruan të dhënat e përdoruesit, duke përfshirë emrin, moshën, emocionin e zbuluar dhe rekomandimin, në Firebase Firestore. Furnizimi i videos përditësohet çdo 10 sekonda, duke kapur kuadrin aktual, duke analizuar emocionet, duke gjeneruar një rekomandim dhe duke ruajtur të dhënat në Firestore.