App di studio sull'IA di YouTube

Descrizione

La mia app, sviluppata in React Native, ti consente di fare quiz sui video di YouTube, chattare con i contenuti della trascrizione del video e ti fornisce un riepilogo intelligente in cui puoi fare clic e riprodurre in punti diversi.

Per il riepilogo intelligente è stato utilizzato Gemini creando un prompt che accetta una trascrizione con timestamp MM:SS. Da qui ho definito uno schema JSON che mi aspetto di ricevere da Gemini. Si è rivelato molto affidabile ed è stato in grado di analizzare questo output previsto nell'applicazione React Native che ho sviluppato, utilizzando questi timestamp MM:SS in punti per cercare il momento corretto nel player di YouTube nell'app. La finestra di contesto lunga di Gemini è stata fondamentale. Può gestire senza problemi 5 ore di trascrizione video

Anche per la schermata D&R, dopo aver sperimentato diversi prompt e schemi JSON, ho optato per una domanda a scelta multipla e una risposta con cui Gemini ha restituito anche la risposta corretta. Da qui ho potuto utilizzare questa risposta JSON per creare una domanda a scelta multipla interattiva basata interamente sulla trascrizione del video. Non sarebbe stato facile con Gemini. Abbiamo anche implementato un aggiornamento per un numero diverso di domande e risposte.

Infine, abbiamo implementato una scheda della schermata della chat in cui possiamo chattare con la trascrizione del video e porre tutte le domande che potremmo avere mentre studiamo il video e cerchiamo di saperne di più. In questo modo, abbiamo sfruttato le potenti conoscenze già esistenti di Gemini insieme al contesto della trascrizione del video.

Sono stati utilizzati anche il database, le funzioni e l'hosting di Firebase.