MERLIN

การทำงาน

MERLIN เป็นแพลตฟอร์มการค้นหาวิดีโอที่ล้ำสมัยซึ่งปฏิวัติการค้นพบและการเข้าถึงเนื้อหาวิดีโอ MERLIN มอบประสบการณ์การค้นหาวิดีโอที่ราบรื่นและใช้งานง่ายโดยปรับให้เหมาะกับความต้องการของคุณอย่างแม่นยำ ด้วยการผสมผสานเทคนิคการฝังข้อมูลแบบหลายมิติของ Gemini Flash และ Vertex อย่างชาญฉลาด

หัวใจหลักของ MERLIN คือการนำโมเดลภาษาขนาดใหญ่และการฝังข้อมูลแบบหลายมิติที่ล้ำสมัยมาผสานรวมกัน เมื่อคุณส่งข้อความค้นหาเริ่มต้น ระบบแบ็กเอนด์จะดึงข้อมูลการฝังข้อความค้นหาและทำการค้นหาเวกเตอร์กับการฝังวิดีโอที่คำนวณไว้ล่วงหน้า อย่างไรก็ตาม หากผลลัพธ์ไม่ตรงกับที่ต้องการ คุณสามารถสนทนาอย่างเป็นธรรมชาติกับ MERLIN ที่ทำงานด้วย Gemini Flash

ขณะสนทนา MERLIN จะใช้ Vertex เพื่อดึงข้อมูลการฝังแบบหลายมิติจากบทสนทนา ซึ่งจะจับบริบทที่ละเอียดอ่อนของความต้องการ ระบบจะประมาณค่าเหล่านี้ด้วยการฝังข้อความค้นหาเริ่มต้น และทำการค้นหาเวกเตอร์ใหม่ในฐานข้อมูลวิดีโอ

ตลอดกระบวนการนี้ ระบบจะจัดเก็บการฝังเวกเตอร์และข้อมูลเมตาไว้ใน Firestore อย่างราบรื่น ขณะที่วิดีโอและภาพขนาดย่อจริงจะอยู่ใน Firebase เพื่อให้คุณได้รับประสบการณ์การใช้งานที่ราบรื่นและตอบสนองได้อย่างรวดเร็ว

MERLIN ใช้ประโยชน์จากความสามารถแบบหลายรูปแบบของ Vertex และ AI แบบสนทนาของ Gemini Flash เข้าด้วยกัน ทำให้เข้าใจความตั้งใจในการค้นหาวิดีโอของคุณได้ดีกว่าที่เคย และแสดงผลลัพธ์ที่เกี่ยวข้องและถูกต้องที่สุด

โปรเจ็กต์นี้มาจากงานของเรา MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline