VivaEval

Что он делает

VivaEval разработан для улучшения жизни учителей средних и старших классов. Он автоматизирует процесс тестирования и оценки с помощью типа теста/задания, который не может быть легко скомпрометирован легкодоступными LLM. Это должно сэкономить нашим перегруженным работой учителям 5-10 часов в неделю.
Когда тест начинается, VivaEval задает студенту (или пользователю) вопрос и ждет ответа. На этом этапе приложение использует Gemini 1.5 Pro для:
1. Создайте расшифровку аудиозаписи. (Я не использовал аудиозапись напрямую, так как проще/быстрее отслеживать весь разговор через текст).
2. Проведите проверку на вменяемость, чтобы убедиться, что пользователь не пытается получить доступ к подсказке или сказать что-то не относящееся к делу. 3. Придумайте ответ на ввод пользователя, учитывая разговор на данный момент и план теста, предоставленный учителем.
Затем ответ синтезируется в аудиофайл. Когда пользователь закончит отвечать на все вопросы, ему будет предложено нажать «Завершить разговор». На этом этапе приложение делает 1 или 2 вызова API Gemini 1.5 Pro, чтобы: 1. Пройтись по стенограмме разговора и оценочной шкале; и назначить оценку для каждого пункта, который должен был быть охвачен в каждом вопросе. Затем скомпилировать результаты в json.
2. В некоторых случаях «json», созданный в предыдущем пункте, не поддается анализу; поэтому приложение просит Gemini исправить структуру json.
Заглядывая вперед, я планирую включить аудио- и видеоанализ в VivaEval для дальнейшего повышения академической честности.