컴패니언 1

기능

'Companion'은 특히 시각 장애, 인지 장애 또는 언어 장벽이 있는 사용자를 위해 웹의 접근성과 사용자 친화성을 높이도록 설계된 Chrome 확장 프로그램입니다. 이 앱은 Gemini API를 활용하여 복잡한 웹 콘텐츠를 단순화하여 더 쉽게 이해할 수 있도록 합니다.

Companion의 핵심 아이디어는 Gemini가 현재 탭의 웹 콘텐츠에 직접 액세스하도록 허용하여 현재 보고 있는 정확한 콘텐츠에 관련성 높은 답변을 제공할 수 있도록 하는 것입니다. 현재 이 앱은 Gemini를 통한 기본 멀티모달을 지원하므로 이미지와 텍스트로 Gemini에 프롬프트를 표시하고 텍스트 기반 응답을 받을 수 있습니다. 향후 계획에는 이 기능을 확장하여 여러 이미지, 동영상, 오디오를 처리하고 웹 콘텐츠를 설명하는 데 도움이 되는 이미지를 생성하는 것이 포함됩니다.

앱의 방향을 보여주는 기능은 마우스 오버 모드에서 음성 명령을 이해하고 응답하는 기능입니다. 이 모드에서 Gemini는 사용자가 선택한 콘텐츠와 관련하여 음성 명령어를 해석하여 진행 중인 대화에 맞는 맥락 인식 대답을 제공합니다.

사용자는 환경설정에 따라 Gemini의 대답을 조정할 수도 있습니다. 예를 들어 Gemini에게 정보를 단순화해 달라고 요청하거나, 이해를 돕기 위한 후속 질문을 하거나, 선택한 언어로 콘텐츠를 번역해 달라고 요청할 수 있습니다. 이 확장 프로그램은 웹 탐색을 개선할 뿐만 아니라 디지털 콘텐츠의 장벽을 제거하여 일상적인 환경을 개선하는 것을 목표로 합니다.