MERLIN

用途

MERLIN 是創新的影片搜尋平台，可徹底改變影片內容的探索和存取方式。透過巧妙地結合 Gemini Flash 和 Vertex 多模態嵌入技術，MERLIN 可提供流暢、直覺的影片搜尋體驗，並精準符合使用者的意圖。

MERLIN 的核心技術整合了大型語言模型和尖端的多模態嵌入技術。當您提交初始文字查詢時，我們的後端會擷取查詢嵌入內容，並針對預先計算的影片嵌入內容執行向量搜尋。不過，如果結果不盡理想，您可以透過 Gemini Flash 技術，與 MERLIN 進行自然對話。

在對話過程中，MERLIN 會利用 Vertex 從對話中擷取多模態嵌入資料，捕捉您需求的細微情境。系統會將這些值與初始查詢嵌入值進行插補，並針對影片資料庫執行新的向量搜尋。

在整個過程中，向量嵌入值和中繼資料會無縫儲存在 Firestore 中，而實際的影片和縮圖則會儲存在 Firebase 中，確保流暢且即時的使用體驗。

透過結合 Gemini Flash 的對話式 AI 和 Vertex 的多模態功能，MERLIN 可真正瞭解你的影片搜尋意圖，並顯示最相關且準確的結果。

這個專案源自於我們的 MERLIN 研究：透過 LLM 的迭代式導覽，針對文字-影片擷取-重新排序管道進行多模態嵌入精修。