MERLIN

Fungsinya

MERLIN adalah platform penelusuran video inovatif yang merevolusi penemuan dan akses konten video. Dengan menggabungkan teknik penyematan multimodal Gemini Flash dan Vertex secara cerdik, MERLIN memberikan pengalaman penelusuran video yang lancar dan intuitif yang disesuaikan dengan niat Anda.

Pada intinya, MERLIN mengintegrasikan model bahasa besar dan penyematan multimodal canggih. Saat Anda mengirimkan kueri teks awal, backend kami akan mengekstrak penyematan kueri dan melakukan penelusuran vektor terhadap penyematan video yang telah dikomputasi sebelumnya. Namun, jika hasilnya tidak cukup memuaskan, Anda dapat melakukan percakapan alami dengan MERLIN, yang didukung oleh Gemini Flash.

Saat Anda melakukan percakapan, MERLIN memanfaatkan Vertex untuk mengekstrak penyematan multimodal dari dialog, yang menangkap konteks kebutuhan Anda yang bernuansa. Hal ini diinterpolasi dengan penyematan kueri awal, dan penelusuran vektor baru dilakukan terhadap database video.

Selama proses ini, penyematan vektor dan metadata disimpan dengan lancar di Firestore, sedangkan video dan thumbnail yang sebenarnya berada di Firebase, sehingga memastikan pengalaman yang lancar dan responsif.

Dengan memanfaatkan gabungan kecanggihan AI percakapan Gemini Flash dan kemampuan multimodal Vertex, MERLIN benar-benar memahami niat penelusuran video Anda seperti belum pernah ada sebelumnya, sehingga menampilkan hasil yang paling relevan dan akurat.

Project ini berasal dari karya kami MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline.