Aplikacja do nauki oparte na AI od YouTube

Działanie

Moja aplikacja, która została opracowana w języku React Native, umożliwia tworzenie quizów na podstawie filmów w YouTube, prowadzenie czatu na podstawie transkrypcji filmu oraz wyświetlanie inteligentnego podsumowania, które można kliknąć i odtworzyć w różnych punktach.

Do inteligentnego podsumowania użyto Gemini, tworząc prompt, który akceptuje transkrypcję z oznaczeniem czasu w formacie MM:SS. Tutaj zdefiniowałem schemat JSON, którego oczekuję od Gemini. Okazało się, że jest bardzo niezawodne i można go użyć do przeanalizowania oczekiwanego wyniku w opracowanej przeze mnie aplikacji w języku React Native, korzystając z tych sygnatur MM:SS w miejscach, w których należy przesunąć odtwarzacz w aplikacji YouTube do właściwego momentu. Długie okno kontekstowe Gemini było kluczowe. Bez problemu poradził sobie z 5-godzinnym transkryptem filmu.

Podobnie w przypadku ekranu pytań i odpowiedzi po eksperymentowaniu z różnymi promptami i schematami JSON zdecydowałem się na pytanie wielokrotnego wyboru i odpowiedź, które Gemini zwrócił z poprawną odpowiedzią. Dzięki temu mogłem użyć odpowiedzi w formacie JSON do utworzenia interaktywnego pytania jednokrotnego wyboru opartego wyłącznie na transkrypcji filmu. Bez Gemini byłoby to trudne. Wprowadziliśmy też odświeżanie w przypadku różnych liczb pytań i odpowiedzi.

Wprowadziliśmy też kartę czatu, na której możemy rozmawiać z transkrypcją filmu i zadawać pytania, które nas nurtują, gdy oglądamy film i chcemy dowiedzieć się więcej. Wykorzystano w tym celu potężną wiedzę, która już istniała w gemini, oraz kontekst transkrypcji filmu.

Wykorzystano też bazę danych, funkcje i hosting Firebase.