NoteCast

Działanie

Uczniowie mogą przesyłać notatki z wykładów, w tym pliki PDF, tekst, zdjęcia, pliki audio i filmy, oraz z nimi pracować. Użytkownicy mogą zadawać pytania i otrzymywać odpowiedzi uwzględniające kontekst na podstawie przesłanych treści. Mogą też wchodzić w interakcje z konwersacyjnym chatbotem AI, który odwołuje się do multimediów. Quizy są generowane, a użytkownik może udostępnić wygenerowany quiz, kopiując link do niego i udostępniając go znajomym, aby zachęcić innych do nauki.
Aplikacja składa się z 4 głównych stron:
1. Rejestrowanie: użytkownicy mogą nagrywać wykłady w dowolnym języku. Interfejs Gemini API służy do generowania wektorów dystrybucyjnych transkrypcji wykładu. Te wektory wraz z danymi wykładów są przechowywane w bazie danych, dzięki czemu treści są możliwe do wyszukania i można ich używać wielokrotnie.
2. Generowanie: Gemini służy do generowania notatek, wykładów audio i testów na podstawie zapytań użytkowników. Aplikacja przekształca zapytania użytkownika w embeddingi, przeszukuje bazę danych i korzysta z Gemini, aby wygenerować notatki na podstawie wyników wyszukiwania. Quiz jest generowany w trybie JSON gemini przez przekazanie wygenerowanych notatek jako argumentu do funkcji napisanej do generowania testów. Użytkownik może też przesyłać pliki PDF, tekst, zdjęcia, pliki audio i filmy oraz generować transkrypcje i wektory dystrybucyjne za pomocą interfejsu Gemini API i przechowywać je w bazie danych.
3. Tutor: na tej stronie znajduje się agent konwersacyjny oparty na AI, który może wstawiać pytania użytkownika, wyszukiwać w bazie danych i rozmawiać z wykorzystaniem wyników wyszukiwania. Dzięki temu użytkownicy mogą prowadzić owocne rozmowy na temat przesłanych przez siebie treści.