GUI Köpek

Ne işe yarar?

Belirli bir dosyaya erişmek istiyorsunuz. Görme engeli olmayan kullanıcılar, Dokümanlar klasörüne girmek için tıklayıp dosyayı açmak için tekrar tıklayabilir. İşlem tamamlandı.

Peki görme engelliyseniz ne yapabilirsiniz? macOS'in VoiceOver gibi bir ekran okuyucu kullanırsınız. Örneğin, bir dosya yöneticisi penceresi açtığınızda VoiceOver, bu pencerenin ne olduğunu ve neler yapabileceğini ayrıntılı bir şekilde açıklar (her kullandığınızda). Kenar çubuğuna gitmek için karmaşık klavye işlemleri kullanıyorsunuz. VoiceOver, cihazınızla her etkileşimde bulunduğunuzda odaklanan kullanıcı arayüzü öğesiyle ilgili bilgileri tekrar eder. Ardından, VoiceOver'un her klasörün adını anons etmesiyle klasör listesini tek tek incelersiniz. Sonunda doğru klasörü duyarsınız. İstediğiniz dosyayı bulana kadar bu işlem klasör içinde tekrarlanır. Can sıkıcı değil mi?

İki tıklamayla yapılacak basit bir işlem, onlarca işlem gerektiren, yorucu bir işleme dönüşüyor.

Aynı görevi "Dokümanlar klasöründe aşı belgemi aç" diyerek tamamlayabilseniz ne olurdu? GUI Dog adlı uygulamam bunu yapıyor.

Kullanıcı, GUI Dog'a bir görevle ilgili kesin talimatlar veriyor. GUI Dog, Gemini'ye gerçekleştirmesi gereken görevi ve değiştirebileceği kullanıcı arayüzü öğelerinin listesini sağlar. Ardından Gemini, hangi işlemlerin yapılacağını belirtir ve GUI Dog bunları yürütmek için macOS erişilebilirlik sistemini kullanır. Birlikte, görevi tamamlamak için çalışırlar.

GUI Dog, dezavantajlı durumdaki kullanıcıların dijital dünyayla etkileşimlerini artırarak onlara yardımcı olmak için Büyük Dil Modeli teknolojilerini kullanarak görme engelliler için "gören göz" olmayı amaçlar.