GUI Dog

Descrizione

Vuoi accedere a un file specifico. Un utente vedente deve semplicemente fare clic per accedere alla cartella Documenti e fare di nuovo clic per aprire il file. Fatto.

Ma cosa succede se hai una disabilità visiva? Dovresti utilizzare uno screen reader per non vedenti, come VoiceOver di macOS. Apri una finestra del gestore di file e VoiceOver descrive in dettaglio cosa è e cosa può fare (ogni volta che lo usi). Utilizzi azioni complesse della tastiera per accedere alla barra laterale. Ogni volta che interagisci con il dispositivo, VoiceOver ripete le informazioni sull'elemento dell'interfaccia utente attivo. Poi scorri l'elenco delle cartelle, una per volta, con VoiceOver che annuncia il nome di ogni cartella finché non senti finalmente la cartella corretta. La procedura viene ripetuta all'interno della cartella finché non trovi il file che ti interessa. Non è stato esasperante?

Un'attività tranquilla che richiede due clic si trasforma in un'operazione di dozzine di azioni faticose e noiose.

E se potessi completare la stessa attività semplicemente dicendo "Apri il mio documento di vaccinazione nella cartella Documenti"? La mia app, GUI Dog, fa proprio questo.

L'utente fornisce a GUI Dog istruzioni precise per un'attività. GUI Dog fornisce a Gemini l'attività da svolgere e un elenco di elementi dell'interfaccia utente che può manipolare. Gemini specifica quindi quali azioni intraprendere e GUI Dog utilizza il sistema di accessibilità di macOS per eseguirle. Insieme, lavorano per completare l'attività.

GUI Dog ha lo scopo di essere il "cane guida" per le persone con disabilità visive, utilizzando le tecnologie dei modelli linguistici di grandi dimensioni per aiutare le persone svantaggiate a migliorare le loro interazioni con il mondo digitale.