MERLIN

Działanie

MERLIN to innowacyjna platforma do wyszukiwania filmów, która rewolucjonizuje sposób znajdowania i dostępu do treści wideo. Dzięki sprytnemu połączeniu technik umieszczania danych wielomodalnych z Gemini Flash i Vertex MERLIN zapewnia płynne i intuicyjne wyszukiwanie filmów dostosowane dokładnie do Twoich potrzeb.

W swoim jądrze MERLIN integruje duże modele językowe i najnowocześniejsze umieszczanie danych wielomodalnych. Gdy prześlesz początkowe zapytanie tekstowe, nasz backend wyodrębnia wektor dystrybucyjny zapytania i wykonuje wyszukiwanie wektorowe na podstawie wcześniej obliczonych wektorów dystrybucyjnych filmów. Jeśli jednak wyniki nie są zadowalające, możesz prowadzić naturalną rozmowę z MERLIN, korzystając z Gemini Flash.

Podczas rozmowy MERLIN wykorzystuje Vertex do wyodrębniania z dialogu multimodalnych embeddingów, które uwzględniają subtelne konteksty Twoich potrzeb. Są one interpolowane z pierwotnym wektorem zapytania, a następnie przeprowadzane jest nowe wyszukiwanie wektorów w bazie danych wideo.

Podczas tego procesu wektory i metadane są bezproblemowo przechowywane w Firestore, a same filmy i miniatury znajdują się w Firebase, co zapewnia płynne i szybkie działanie.

Dzięki połączeniu możliwości konwersacyjnej AI z usługą Gemini Flash i funkcji multimodalnych Vertex MERLIN naprawdę rozumie intencję wyszukiwania filmów i wyświetla najbardziej trafne i dokładne wyniki.

Ten projekt powstał na podstawie naszej pracy MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline.