Приложение для изучения ИИ на YouTube

Что он делает

Мое приложение, разработанное в React Native, позволяет вам проверять себя по видео на YouTube, общаться с участниками видеотрансляции и предоставляет вам интеллектуальное резюме, в котором вы можете нажимать и воспроизводить различные моменты.

Gemini использовался для интеллектуального резюме путем создания приглашения, которое принимает расшифровку с временными метками MM:SS. Отсюда я определил схему json, которую я ожидаю от gemini. Она оказалась очень надежной и смогла проанализировать этот ожидаемый вывод в разработанном мной приложении React Native, используя эти временные метки MM:SS в точках для поиска правильного времени в проигрывателе Youtube в приложении. Длинное контекстное окно Gemini имело решающее значение. Оно могло обрабатывать 5 часов видеотрансляции без проблем

Для экрана вопросов и ответов аналогично после экспериментов с различными подсказками и схемами json я остановился на вопросе с множественным выбором и ответе, на который Gemini также вернул правильный ответ. Отсюда я смог использовать этот ответ json для создания интерактивного вопроса с множественным выбором, полностью основанного на расшифровке видео. Это было бы нелегко с Gemini. Также реализовано обновление для разного количества вопросов и ответов.

Наконец, реализована вкладка экрана чата, где мы можем общаться с видеотранскрипцией и задавать любые вопросы, которые у нас могут возникнуть во время изучения видео и попытки узнать больше. Это использовало мощные знания, уже имеющиеся у gemini, вместе с контекстом видеотранскрипции.

Также использовались хостинг, функции и база данных Firebase.