MERLIN

תיאור

MERLIN היא פלטפורמה חדשנית לחיפוש סרטונים שמחוללת מהפכה בגילוי ובגישה לתוכן וידאו. שילוב מתוחכם של שיטות הטמעה (embedding) של Gemini Flash ו-Vertex עם מולטימודים מאפשר ל-MERLIN לספק חוויית חיפוש וידאו חלקה ואינטואיטיבית שמותאמת בדיוק לכוונת החיפוש שלכם.

בבסיס MERLIN משולבים מודלים גדולים של שפה והטמעות (embeddings) מתקדמות של מולטימודים. כששולחים שאילתה ראשונית בטקסט, הקצה העורפי שלנו מחלץ את הטמעת השאילתה ומבצע חיפוש וקטור כנגד הטמעות של סרטונים שחושבו מראש. עם זאת, אם התוצאות לא עומדות בציפיות, תוכלו לנהל שיחה טבעית עם MERLIN, שמבוסס על Gemini Flash.

במהלך השיחה, MERLIN משתמש ב-Vertex כדי לחלץ מהדיאלוג הטמעות (embeddings) של מודלים מרובים, וכך לתעד את ההקשר המורכב של הצרכים שלכם. הם משולבים עם הטמעת השאילתה הראשונית, ומתבצע חיפוש וקטורים חדש במסד הנתונים של הסרטונים.

במהלך התהליך, הטמעות וקטורים ומטא-נתונים מאוחסנים בצורה חלקה ב-Firestore, בעוד שהסרטונים והתמונות הממוזערות בפועל נמצאים ב-Firebase, וכך מובטחת חוויית שימוש חלקה ותגובה מהירה.

באמצעות ניצול העוצמה המשולבת של ה-AI בממשק שיחה של Gemini Flash והיכולות הרב-מודאליות של Vertex, MERLIN מבין את כוונת החיפוש שלכם בסרטונים כמו שלא הבין אף פעם, ומציג את התוצאות הרלוונטיות והמדויקות ביותר.

הפרויקט הזה נגזר מהעבודה שלנו MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline.