GUI Dog

機能

特定のファイルにアクセスしたい。視覚に障がいのあるユーザーは、クリックしてドキュメント フォルダに移動し、もう一度クリックしてファイルを開くだけです。完了。

視覚障がい者の場合はどうすればよいですか？macOS の VoiceOver などのブラインド リーダーを使用します。たとえば、ファイル マネージャー ウィンドウを開くと、VoiceOver がそのウィンドウの機能について詳しく説明します（使用のたびに）。複雑なキーボード操作を使用してサイドバーに移動します。デバイスを操作するたびに、フォーカスされている UI 要素に関する情報が VoiceOver で繰り返し読み上げられます。次に、フォルダのリストを 1 つずつ移動し、VoiceOver がすべてのフォルダ名を読み上げるのを聞いて、正しいフォルダを見つけます。目的のファイルが見つかるまで、このプロセスがフォルダ内で繰り返されます。イライラしませんか？

2 回のクリックで完了するタスクが、12 個もの操作を必要とする面倒な作業になってしまいます。

「ドキュメント フォルダでワクチン接種証明書を開く」と指示するだけで、同じタスクを完了できたらどうでしょう？私のアプリ GUI Dog は、そのように動作します。

ユーザーは GUI Dog にタスクの正確な指示を与えます。GUI Dog は、達成すべきタスクと、操作できる UI 要素のリストを Gemini に提供します。Gemini は、実行するアクションを指定し、GUI Dog は macOS のユーザー補助システムを使用してそのアクションを実行します。2 人で協力してタスクを完了します。

GUI Dog は、大規模言語モデル技術を使用して、視覚障がい者の「目」となることを目指しています。これにより、社会的に不利な立場にある人々を支援し、デジタル ワールドとのやり取りを促進します。