MERLIN

Çfarë bën

MERLIN është një platformë inovative kërkimi video që revolucionarizon zbulimin dhe aksesin e përmbajtjes së videos. Duke kombinuar në mënyrë gjeniale teknikat e përfshirjes multimodale Gemini Flash dhe Vertex, MERLIN ofron një eksperiencë të pandërprerë dhe intuitive kërkimi video të përshtatur pikërisht për qëllimin tuaj.

Në thelbin e tij, MERLIN integron modele të mëdha gjuhësore dhe ngulitje multimodale të fundit. Kur paraqisni një pyetje fillestare të tekstit, fundi ynë ekstrakton futjen e pyetjes dhe kryen një kërkim vektori kundrejt futjeve të parallogaritura të videos. Sidoqoftë, nëse rezultatet nuk arrijnë plotësisht, mund të përfshiheni në një bisedë të natyrshme me MERLIN, të mundësuar nga Gemini Flash.

Ndërsa bisedoni, MERLIN përdor Vertex për të nxjerrë ngulitje multimodale nga dialogu, duke kapur kontekstin e nuancuar të nevojave tuaja. Këto ndërthuren me futjen e pyetjes fillestare dhe kryhet një kërkim i ri vektor në bazën e të dhënave video.

Gjatë gjithë këtij procesi, futjet vektoriale dhe meta të dhënat ruhen pa probleme në Firestore, ndërsa videot dhe fotografitë aktuale qëndrojnë në Firebase, duke siguruar një përvojë të qetë dhe të përgjegjshme.

Duke shfrytëzuar fuqinë e kombinuar të inteligjencës artificiale bisedore të Gemini Flash dhe aftësive multimodale të Vertex, MERLIN e kupton me të vërtetë synimin tuaj të kërkimit të videove si kurrë më parë, duke shfaqur rezultatet më të rëndësishme dhe më të sakta.

Ky projekt rrjedh nga puna jonë MERLIN: Përmirësimi Multimodal Embedding nëpërmjet Navigimit Iterativ të bazuar në LLM për Text-Video Retrieval-Rerank Pipeline.