コンパニオン 1

機能

「Companion」は、特に視覚障がい、認知障がい、言語障がいのあるユーザーがウェブをより使いやすく、ユーザー フレンドリーにするための Chrome 拡張機能です。このアプリは Gemini API を活用して複雑なウェブ コンテンツを簡素化し、より消化しやすくし、理解しやすくします。

Companion の基本コンセプトは、Gemini に現在のタブのウェブ コンテンツへの直接アクセスを許可し、現在表示されているコンテンツに関連する回答を提供できるようにすることです。現在、このアプリは Gemini による基本的なマルチモーダルをサポートしています。画像とテキストを Gemini に提示して、テキストベースの回答を受け取ることができます。今後の予定としては、この機能を拡張して複数の画像、動画、音声を処理できるようにすることや、ウェブ コンテンツを説明する画像を生成できるようにすることなどがあります。

このアプリの方向性を示す機能として、ホバーモードで音声コマンドを理解して応答する機能があります。このモードでは、Gemini はユーザーが選択したコンテンツに関連して音声コマンドを解釈し、進行中の会話に沿ったコンテキスト対応の回答を提供します。

ユーザーは、好みに合わせて Gemini の回答を調整することもできます。たとえば、Gemini に情報を簡素化するようリクエストしたり、理解を深めるためのフォローアップの質問をしたり、コンテンツを選択した言語に翻訳したりすることができます。この拡張機能は、ウェブの操作性を高めるだけでなく、デジタル コンテンツへのアクセスの障壁を取り除くことで、日常生活の利便性を高めることを目的としています。