VivaEval

Fungsinya

VivaEval dirancang untuk meningkatkan kualitas hidup pengajar SMP dan SMA. Alat ini mengotomatiskan proses pengujian dan evaluasi dengan jenis pengujian / tugas yang tidak mudah disusupi oleh LLM yang sudah tersedia. Hal ini akan menghemat waktu 5-10 jam per minggu bagi pengajar yang bekerja terlalu keras.
Saat ujian dimulai, VivaEval akan mengajukan pertanyaan kepada siswa (atau pengguna) dan menunggu respons. Pada tahap ini, aplikasi menggunakan Gemini 1.5 Pro untuk:
1. Buat transkrip input audio. (Saya tidak menggunakan input audio secara langsung karena lebih mudah/cepat untuk melacak seluruh percakapan melalui teks).
2. Lakukan pemeriksaan keandalan untuk memastikan bahwa pengguna tidak mencoba mengakses perintah atau mengatakan sesuatu yang tidak relevan. 3. Buat respons terhadap input pengguna; pertimbangkan percakapan sejauh ini dan garis besar ujian yang diberikan oleh pengajar.
Respons tersebut kemudian disintesis menjadi file audio. Setelah pengguna selesai menjawab semua pertanyaan, mereka akan diminta untuk menekan “Akhiri Percakapan”. Pada tahap ini, aplikasi memiliki 1 atau 2 panggilan ke Gemini 1.5 Pro API untuk: 1. Baca transkrip percakapan dan rubrik penilaian; serta tetapkan skor untuk setiap poin yang seharusnya dibahas dalam setiap pertanyaan. Kemudian, kompilasi hasilnya menjadi json.
2. Terkadang, 'json' yang dibuat di poin sebelumnya tidak dapat 'diurai'; sehingga aplikasi meminta Gemini untuk memperbaiki struktur json.
Ke depannya, saya berencana untuk menggabungkan analisis audio dan video ke dalam VivaEval untuk lebih meningkatkan integritas akademik.