VivaEval

Działanie

VivaEval ma ułatwiać życie nauczycielom szkół średnich i gimnazjów. Automatyzuje proces testowania i oceny za pomocą testu lub zadania, które nie może zostać łatwo naruszone przez łatwo dostępne LLM. Dzięki temu przepracowani nauczyciele będą mogli zaoszczędzić 5–10 godzin tygodniowo.
Na początku testu VivaEval zadaje uczniowi (użytkownikowi) pytanie i czeka na odpowiedź. Obecnie aplikacja korzysta z Gemini 1.5 Pro, aby:
1. Utwórz transkrypcję nagrania audio. (nie używałem bezpośredniego wejścia audio, ponieważ łatwiej/szybciej jest śledzić całą rozmowę za pomocą tekstu).
2. Przeprowadź weryfikację, aby upewnić się, że użytkownik nie próbuje uzyskać dostępu do promptu lub powiedzieć czegoś nieistotnego. 3. Utwórz odpowiedź na dane wejściowe użytkownika, biorąc pod uwagę dotychczasową rozmowę i ramy testu podane przez nauczyciela.
Odpowiedź jest następnie syntetyzowana do pliku audio. Gdy użytkownik odpowie na wszystkie pytania, zostanie poproszony o naciśnięcie przycisku „Zakończ rozmowę”. W tym momencie aplikacja wysyła 1 lub 2 wywołania interfejsu Gemini 1.5 Pro: Przejrzyj transkrypcję rozmowy i schemat oceniania. Przypisz punkty za każdy punkt, który powinien zostać omówiony w każdym pytaniu. Następnie zbierz wyniki w pliku JSON.
2. W niektórych przypadkach „plik JSON” utworzony w poprzednim punkcie nie nadaje się do analizy, dlatego aplikacja prosi Gemini o poprawienie struktury pliku JSON.
W przyszłości planuję uwzględnić w VivaEval analizę audio i wideo, aby jeszcze bardziej zwiększyć integralność akademicką.