App de estudo de IA do YouTube

O que faz?

Meu app, desenvolvido em React Native, permite que você faça testes em vídeos do YouTube, converse com o conteúdo da transcrição do vídeo e receba um resumo inteligente, em que você pode clicar e reproduzir em diferentes pontos.

O Gemini foi usado para o resumo inteligente, criando um comando que aceita uma transcrição com marcações de tempo MM:SS. A partir daqui, defini um esquema JSON que espero receber do Gemini. Ele se mostrou muito confiável e conseguiu analisar essa saída esperada no aplicativo nativo de reação que desenvolvi, usando esses carimbos de data/hora MM:SS em pontos para buscar o tempo correto no player do YouTube no app. A janela de contexto longa do Gemini foi crucial. Ele pode processar 5 horas de transcrição de vídeo sem problemas

Para a tela de perguntas e respostas, depois de experimentar diferentes comandos e esquemas JSON, decidi por uma pergunta e resposta de múltipla escolha, e o Gemini também retornou a resposta correta. Com isso, pude usar essa resposta JSON para criar uma pergunta interativa de múltipla escolha baseada inteiramente na transcrição do vídeo. Isso não seria fácil com o Gemini. Também implementamos uma atualização para diferentes números de perguntas e respostas.

Por fim, implementamos uma guia de chat na tela para conversar com a transcrição do vídeo e fazer perguntas enquanto estudamos o conteúdo e tentamos aprender mais. Isso aproveitou o conhecimento avançado que já existia com o Gemini e o contexto da transcrição do vídeo.

O Firebase Hosting, as funções e o banco de dados também foram usados.