VivaEval

Funktion

VivaEval wurde entwickelt, um das Leben von Lehrkräften in der Sekundarstufe zu verbessern. Es automatisiert den Test- und Bewertungsprozess mit einer Art von Test / Aufgabe, die nicht leicht von allgemein verfügbaren LLMs manipuliert werden kann. Das sollte unseren überlasteten Lehrkräften 5 bis 10 Stunden pro Woche sparen.
Zu Beginn des Tests stellt VivaEval dem Schüler (oder Nutzer) eine Frage und wartet auf eine Antwort. Derzeit verwendet die App Gemini 1.5 Pro für Folgendes:
1. Erstellen Sie das Transkript der Audioeingabe. (Ich habe den Audioinput nicht direkt verwendet, da es einfacher und schneller ist, die gesamte Unterhaltung über Text zu verfolgen.)
2. Führen Sie eine Plausibilitätsprüfung durch, um sicherzustellen, dass der Nutzer nicht versucht, auf den Prompt zuzugreifen oder etwas Irrelevantes zu sagen. 3. Sie formulieren eine Antwort auf die Eingabe des Nutzers, wobei Sie die bisherige Unterhaltung und den vom Lehrer gegebenen Testplan berücksichtigen.
Die Antwort wird dann in eine Audiodatei synthetisiert. Wenn der Nutzer alle Fragen beantwortet hat, wird er aufgefordert, auf „Unterhaltung beenden“ zu klicken. Zu diesem Zeitpunkt führt die App einen oder zwei Aufrufe der Gemini 1.5 Pro API aus, um: Sehen Sie sich das Transkript des Gesprächs und die Benotungsskala an und geben Sie für jeden Punkt, der in jeder Frage behandelt werden sollte, eine Punktzahl an. Kompilieren Sie die Ergebnisse dann in eine JSON-Datei.
2. Manchmal kann das im vorherigen Punkt erstellte JSON-Objekt nicht geparst werden. In diesem Fall bittet die App Gemini, die JSON-Struktur zu korrigieren.
In Zukunft möchte ich Audio- und Videoanalysen in VivaEval einbinden, um die akademische Integrität weiter zu verbessern.