VivaEval

기능

VivaEval은 중고등학교 교사의 삶을 개선하기 위해 설계되었습니다. 쉽게 사용 가능한 LLM으로 쉽게 손상되지 않는 테스트 / 과제 유형으로 테스트 및 평가 프로세스를 자동화합니다. 이를 통해 과도한 업무에 시달리는 교사는 주당 5~10시간을 절약할 수 있습니다.
테스트가 시작되면 VivaEval이 학생 (또는 사용자)에게 질문을 하고 응답을 기다립니다. 이 시점에서 앱은 Gemini 1.5 Pro를 사용하여 다음 작업을 실행합니다.
1. 오디오 입력의 스크립트를 만듭니다. 텍스트를 통해 전체 대화를 더 쉽고 빠르게 추적할 수 있으므로 오디오 입력을 직접 사용하지 않았습니다.
2. 사용자가 프롬프트에 액세스하려고 하거나 관련 없는 말을 하고 있지 않은지 확인하기 위한 유효성 검사를 실행합니다. 3. 지금까지의 대화와 선생님이 제공한 시험 개요를 고려하여 사용자의 입력에 대한 응답을 생각해 냅니다.
그런 다음 응답이 오디오 파일로 합성됩니다. 사용자가 모든 질문에 답변을 마치면 '대화 종료'를 누르라는 메시지가 표시됩니다. 이 시점에서 앱은 Gemini 1.5 Pro API를 1~2회 호출하여 다음을 실행합니다. 1. 대화 스크립트와 채점 기준을 검토하고 각 질문에서 다루어야 했던 각 항목에 점수를 부여합니다. 그런 다음 결과를 json.
2로 컴파일합니다. 이전 단계에서 생성된 'json'이 '파싱'할 수 없는 경우도 있습니다. 따라서 앱이 Gemini에 json 구조를 수정하라고 요청합니다.
향후 학문적 정직성을 더욱 강화하기 위해 VivaEval에 오디오 및 동영상 분석을 통합할 계획입니다.