MERLIN

기능

MERLIN은 동영상 콘텐츠 검색 및 액세스에 혁신을 일으키는 혁신적인 동영상 검색 플랫폼입니다. MERLIN은 Gemini Flash와 Vertex 멀티모달 임베딩 기법을 교묘하게 결합하여 사용자 의도에 정확하게 맞춤설정된 원활하고 직관적인 동영상 검색 환경을 제공합니다.

MERLIN의 핵심은 대규모 언어 모델과 최신 멀티모달 임베딩을 통합하는 것입니다. 사용자가 초기 텍스트 쿼리를 제출하면 백엔드에서 쿼리 임베딩을 추출하고 사전 계산된 동영상 임베딩을 대상으로 벡터 검색을 실행합니다. 하지만 결과가 만족스럽지 않다면 Gemini Flash를 기반으로 하는 MERLIN과 자연스럽게 대화할 수 있습니다.

대화 중에 MERLIN은 Vertex를 활용하여 대화에서 다중 모달 임베딩을 추출하여 사용자의 요구사항에 관한 미묘한 맥락을 포착합니다. 이러한 결과는 초기 쿼리 임베딩으로 보간되고 동영상 데이터베이스에 대해 새로운 벡터 검색이 실행됩니다.

이 과정에서 벡터 임베딩과 메타데이터는 Firestore에 원활하게 저장되고 실제 동영상과 썸네일은 Firebase에 저장되어 원활하고 반응이 빠른 환경을 보장합니다.

MERLIN은 Gemini Flash의 대화형 AI와 Vertex의 멀티모달 기능을 결합하여 전례 없는 방식으로 동영상 검색 의도를 파악하고 가장 관련성 높고 정확한 결과를 표시합니다.

이 프로젝트는 Google의 연구인 MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline에서 파생되었습니다.