Визмо

Что он делает

Наша команда разработала приложение Smart YouTube Video Assistant (Vismo), которое позволяет пользователям вводить URL-адрес видео YouTube вместе с пользовательским запросом или подсказкой. В зависимости от цели запроса система, используя API Gemini, предоставляет индивидуальный ответ. Этот ответ может быть в виде простого текста, текста с соответствующими изображениями, видеофрагментов из указанного видео или даже видеоответа.

Приложение начинает работу с извлечения субтитров и заголовка видео. С помощью API Gemini оно генерирует текстовые ответы, классифицирует изображения и фрагменты видео или создает сценарий для краткого содержания видео. Приложение использует временные метки и субтитры из транскрипта для точного определения и извлечения соответствующих изображений и сегментов видео. Кроме того, приложение улучшает пользовательский опыт, предлагая рекомендации, такие как веб-источники, связанные изображения и видео YouTube. API Gemini играет решающую роль в создании поисковых запросов, которые подпитывают эти веб-результаты и рекомендации.