MERLIN

Qué hace

MERLIN es una plataforma innovadora de búsqueda de videos que revoluciona el descubrimiento y el acceso al contenido de video. MERLIN combina ingeniosamente las técnicas de incorporación multimodal de Gemini Flash y Vertex para ofrecer una experiencia de búsqueda de videos intuitiva y fluida que se adapta con precisión a tu intención.

En esencia, MERLIN integra modelos de lenguaje extensos y incorporaciones multimodales de vanguardia. Cuando envías una consulta de texto inicial, nuestro backend extrae el embedding de la consulta y realiza una búsqueda de vectores en los embeddings de video calculados previamente. Sin embargo, si los resultados no son del todo precisos, puedes entablar una conversación natural con MERLIN, potenciada por Gemini Flash.

Mientras conversas, MERLIN aprovecha Vertex para extraer incorporaciones multimodales del diálogo y capturar el contexto detallado de tus necesidades. Estos se interpolan con la incorporación de la consulta inicial y se realiza una nueva búsqueda de vectores en la base de datos de videos.

Durante este proceso, los embeddings de vectores y los metadatos se almacenan sin problemas en Firestore, mientras que los videos y las miniaturas reales residen en Firebase, lo que garantiza una experiencia fluida y responsiva.

Gracias a la potencia combinada de la IA conversacional de Gemini Flash y las capacidades multimodales de Vertex, MERLIN comprende realmente tu intención de búsqueda de videos como nunca antes y muestra los resultados más relevantes y precisos.

Este proyecto se deriva de nuestro trabajo MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline.