MERLIN

وظيفتها

‫MERLIN هي منصّة مبتكرة لبحث الفيديوهات تُحدث ثورة في استكشاف محتوى الفيديو والوصول إليه. من خلال الجمع بين تقنيات Gemini Flash وVertex لدمج الوسائط المتعددة، يقدّم MERLIN تجربة بحث سلسة وسهلة الاستخدام عن الفيديوهات، وهي مصمّمة خصيصًا لتلبية طلبك.

يجمع MERLIN في الأساس بين النماذج اللغوية الكبيرة وتقنيات الدمج المتقدّمة للوسائط المتعددة. عند إرسال طلب بحث نصي أولي، تُستخرج واجهة الخلفية عملية تضمين طلب البحث وتُجري بحثًا باستخدام المتجهات في عمليات تضمين الفيديوهات المحسوبة مسبقًا. ومع ذلك، إذا لم تكن النتائج على مستوى توقعاتك، يمكنك إجراء محادثة طبيعية مع MERLIN، المستندة إلى Gemini Flash.

أثناء المحادثة، يستفيد MERLIN من Vertex لاستخراج عمليات تضمين متعددة الوسائط من الحوار، ما يسهم في فهم السياق المفصّل لاحتياجاتك. ويتم إدراجها مع إدراج طلب البحث الأولي، ويتم إجراء بحث جديد باستخدام المتجهات في قاعدة بيانات الفيديوهات.

خلال هذه العملية، يتم تخزين إدراجات المتجهات وبيانات التعريف بسلاسة في Firestore، بينما يتم تخزين الفيديوهات المصغّرة الفعلية في Firebase، ما يضمن تجربة سلسة وسريعة الاستجابة.

من خلال الاستفادة من إمكانات الذكاء الاصطناعي الحواري في Gemini Flash وإمكانات Vertex المتعدّدة الوسائط، يفهم MERLIN بشكلٍ دقيق نية البحث عن الفيديوهات، ما يؤدي إلى عرض النتائج الأكثر صلةً ودقيقةً.

يستند هذا المشروع إلى عملنا MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline.