МЕРЛИН

Что он делает

MERLIN — это инновационная платформа поиска видео, которая производит революцию в обнаружении и доступе к видеоконтенту. Благодаря гениальному сочетанию методов мультимодального встраивания Gemini Flash и Vertex, MERLIN обеспечивает безупречный и интуитивный поиск видео, точно соответствующий вашим намерениям.

В своей основе MERLIN объединяет большие языковые модели и передовые мультимодальные вложения. Когда вы отправляете начальный текстовый запрос, наш бэкэнд извлекает вложение запроса и выполняет векторный поиск по предварительно вычисленным вложениям видео. Однако, если результаты не совсем соответствуют цели, вы можете вступить в естественный разговор с MERLIN, работающим на Gemini Flash.

По мере того, как вы общаетесь, MERLIN использует Vertex для извлечения мультимодальных вложений из диалога, захватывая нюансный контекст ваших потребностей. Они интерполируются с первоначальным вложением запроса, и новый векторный поиск выполняется по базе данных видео.

В ходе этого процесса векторные вставки и метаданные беспрепятственно сохраняются в Firestore, в то время как сами видео и миниатюры находятся в Firebase, что обеспечивает плавный и адаптивный интерфейс.

Используя объединенную мощь диалогового искусственного интеллекта Gemini Flash и мультимодальных возможностей Vertex, MERLIN по-настоящему понимает ваши цели поиска видео, как никогда ранее, предлагая наиболее релевантные и точные результаты.

Этот проект является производным от нашей работы MERLIN: уточнение мультимодального встраивания с помощью итеративной навигации на основе LLM для конвейера поиска и переранжирования текста и видео.