MERLIN

Ne işe yarar?

MERLIN, video içeriği keşfinde ve erişiminde devrim yaratan yenilikçi bir video arama platformudur. MERLIN, Gemini Flash ve Vertex çoklu formatlı gömme tekniklerini ustaca birleştirerek tam olarak amacınıza göre uyarlanmış sorunsuz ve sezgisel bir video arama deneyimi sunar.

MERLIN'in temelinde büyük dil modelleri ve son teknoloji çoklu formatlı gömmeler bulunur. İlk metin sorgusunu gönderdiğinizde arka uçumuz sorgu yerleştirmesini ayıklayıp önceden hesaplanmış video yerleştirmelerine göre bir vektör araması gerçekleştirir. Ancak sonuçlar tam olarak istediğiniz gibi değilse Gemini Flash tarafından desteklenen MERLIN ile doğal bir şekilde sohbet edebilirsiniz.

Sohbet ederken MERLIN, Vertex'ten yararlanarak diyalogdan çok modlu yerleştirmeler çıkarır ve ihtiyaçlarınızın ayrıntılı bağlamını yakalar. Bunlar, ilk sorgu yerleştirmesiyle birlikte ayarlanır ve video veritabanında yeni bir vektör araması gerçekleştirilir.

Bu işlem boyunca vektör yerleştirmeleri ve meta veriler Firestore'da sorunsuz bir şekilde depolanır. Gerçek videolar ve küçük resimler ise Firebase'de bulunur. Bu sayede sorunsuz ve duyarlı bir deneyim sağlanır.

MERLIN, Gemini Flash'ın etkileşimli yapay zekasının ve Vertex'in çok modlu özelliklerinin birleşik gücünden yararlanarak video arama amacınızı daha önce hiç olmadığı kadar iyi anlayıp en alakalı ve doğru sonuçları gösterir.

Bu proje, MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline (MERLIN: Metin-Video Alma ve Yeniden Sıralama Hattı İçin LLM Tabanlı Yinelenen Gezinme ile Çok Modlu Yerleştirme Geliştirme) çalışmamızdan alınmıştır.