App de estudio de IA de YouTube

Qué hace

Mi app, que se desarrolló en React Native, te permite hacer cuestionarios sobre videos de YouTube, chatear con el contenido de la transcripción del video y te brinda un resumen inteligente en el que puedes hacer clic y reproducir en diferentes puntos.

Se usó Gemini para el resumen inteligente creando una instrucción que acepta una transcripción con marcas de tiempo de MM:SS. Desde aquí, definí un esquema JSON que espero recibir de Gemini. Resultó ser muy confiable y pudo analizar este resultado esperado en la aplicación nativa de React que desarrollé, usando estas marcas de tiempo de MM:SS en puntos para buscar la hora correcta en el reproductor de YouTube de la app. La ventana de contexto largo de Gemini fue fundamental. No tuvo problemas para manejar 5 horas de transcripción de video.

En el caso de la pantalla de preguntas y respuestas, después de experimentar con diferentes instrucciones y esquemas JSON, me decidí por una pregunta de opción múltiple y la respuesta con la que Gemini también mostró la respuesta correcta. Desde aquí, pude usar esta respuesta JSON para crear una pregunta interactiva de opción múltiple basada por completo en la transcripción del video. Esto no habría sido fácil con Gemini. También implementamos una actualización para una cantidad diferente de preguntas y respuestas.

Por último, implementamos una pestaña de pantalla de chat en la que podemos chatear con la transcripción del video y hacer cualquier pregunta que tengamos mientras estudiamos el video y tratamos de obtener más información. Esto aprovechó el poderoso conocimiento que ya existía con Gemini junto con el contexto de la transcripción del video.

También se usaron el hosting, las funciones y la base de datos de Firebase.