Application d'étude sur l'IA de YouTube

Description

Mon application, développée en React Native, vous permet de vous tester sur des vidéos YouTube, de discuter avec le contenu de la transcription vidéo et de recevoir un résumé intelligent où vous pouvez cliquer et lire à différents moments.

Gemini a été utilisé pour le résumé intelligent en créant une requête qui accepte une transcription avec des codes temporels MM:SS. À partir de là, j'ai défini un schéma JSON que je m'attends à recevoir de Gemini. Il s'est avéré très fiable et a pu analyser cette sortie attendue dans l'application React Native que j'ai développée, en utilisant ces codes temporels MM:SS à des points pour rechercher l'heure correcte dans le lecteur YouTube de l'application. La grande fenêtre de contexte de Gemini a été cruciale. Il pouvait gérer cinq heures de transcription vidéo sans problème.

Pour l'écran de questions/réponses, après avoir testé différentes invites et schémas JSON, j'ai opté pour une question à choix multiples, et Gemini a également renvoyé la bonne réponse. J'ai ensuite pu utiliser cette réponse JSON pour créer une question à choix multiples interactive entièrement basée sur la transcription de la vidéo. Cela n'aurait pas été facile avec Gemini. Nous avons également implémenté une actualisation pour un nombre différent de questions/réponses.

Enfin, nous avons implémenté un onglet d'écran de chat dans lequel nous pouvons discuter de la transcription vidéo et poser toutes les questions que nous pourrions avoir pendant que nous étudions la vidéo et essayons d'en savoir plus. Nous avons ainsi exploité les puissantes connaissances déjà existantes avec Gemini, ainsi que le contexte de la transcription vidéo.

Nous avons également utilisé l'hébergement, les fonctions et la base de données Firebase.