GUI Dog

Funktion

Sie möchten auf eine bestimmte Datei zugreifen. Sehende Nutzer klicken einfach, um den Ordner „Dokumente“ zu öffnen, und klicken noch einmal, um die Datei zu öffnen. Fertig.

Aber was ist, wenn Sie eine Sehbehinderung haben? Sie verwenden einen Screenreader für Blinde, z. B. VoiceOver von macOS. Sie öffnen also ein Fenster des Dateimanagers und VoiceOver beschreibt jedes Mal ausführlich, was das Fenster ist und was es kann. Sie verwenden komplexe Tastaturaktionen, um zur Seitenleiste zu wechseln. Jedes Mal, wenn Sie mit Ihrem Gerät interagieren, wiederholt VoiceOver die Informationen zum fokussierten UI-Element. Sie gehen dann nacheinander durch die Liste der Ordner. VoiceOver liest dabei den Namen jedes Ordners vor, bis Sie den gewünschten Ordner hören. Wiederholen Sie diesen Vorgang, bis Sie die gewünschte Datei gefunden haben. War das nicht frustrierend?

Eine einfache Aufgabe mit zwei Klicks wird zu einer nervigen, anstrengenden Aktion mit Dutzenden von Schritten.

Was wäre, wenn Sie dieselbe Aufgabe einfach mit dem Befehl „Öffne mein Impfdokument im Ordner „Dokumente““ erledigen könnten? Das ist bei meiner App GUI Dog der Fall.

Der Nutzer gibt GUI Dog genaue Anweisungen für eine Aufgabe. GUI Dog stellt Gemini die Aufgabe und eine Liste der UI-Elemente zur Verfügung, die es bearbeiten kann. Gemini gibt dann an, welche Aktionen ausgeführt werden sollen, und GUI Dog verwendet das macOS-Bedienungshilfensystem, um sie auszuführen. Gemeinsam arbeiten sie daran, die Aufgabe zu erledigen.

GUI Dog möchte das „sehende Auge“ für sehbehinderte Menschen sein. Mithilfe von Large Language Model-Technologien sollen benachteiligte Menschen unterstützt und ihre Interaktionen mit der digitalen Welt verbessert werden.