GUI Dog

Fungsinya

Anda ingin mengakses file tertentu. Untuk pengguna yang dapat melihat, Anda cukup mengklik untuk membuka folder Dokumen, lalu mengklik lagi untuk membuka file. Selesai.

Tapi bagaimana jika Anda memiliki gangguan penglihatan? Anda akan menggunakan pembaca layar bagi tunanetra, seperti VoiceOver di macOS. Jadi, Anda membuka jendela pengelola file, dan VoiceOver akan menjelaskan, secara mendetail, apa itu dan apa yang dapat dilakukannya (setiap kali Anda menggunakannya). Anda menggunakan tindakan keyboard yang kompleks untuk membuka sidebar. Setiap kali Anda berinteraksi dengan perangkat, VoiceOver akan mengulangi informasi tentang elemen UI yang difokuskan. Kemudian, Anda akan melihat daftar folder, satu per satu, dengan VoiceOver yang mengumumkan setiap nama folder hingga Anda akhirnya mendengar folder yang benar. Proses ini diulang di dalam folder hingga Anda menemukan file yang diinginkan. Bukankah itu menjengkelkan?

Tugas yang mudah dengan dua klik berubah menjadi operasi yang melelahkan dengan banyak tindakan.

Bagaimana jika Anda dapat menyelesaikan tugas yang sama hanya dengan memberikan perintah, "Di folder Dokumen, buka dokumen vaksinasi saya"? Aplikasi saya, GUI Dog, melakukan hal itu.

Pengguna memberikan petunjuk yang tepat kepada GUI Dog untuk suatu tugas. GUI Dog memberi Gemini tugas yang harus dicapai dan daftar elemen UI yang dapat dimanipulasi. Gemini kemudian menentukan tindakan yang akan diambil, dan GUI Dog menggunakan sistem aksesibilitas macOS untuk menjalankannya. Bersama-sama, mereka bekerja untuk menyelesaikan tugas.

GUI Dog bertujuan untuk menjadi "mata yang melihat" bagi mereka yang tuna netra, menggunakan teknologi Model Bahasa Besar untuk membantu mengangkat mereka yang kurang beruntung, meningkatkan interaksi mereka dengan dunia digital.