Companion 1

Funktion

„Companion“ ist eine Chrome-Erweiterung, die das Web barrierefreier und nutzerfreundlicher machen soll, insbesondere für Menschen mit Sehbehinderung, kognitiven Beeinträchtigungen oder Sprachbarrieren. Die App nutzt die Gemini API, um komplexe Webinhalte zu vereinfachen und verständlicher zu machen.

Der Hauptzweck von Companion besteht darin, Gemini direkten Zugriff auf die Webinhalte Ihres aktuellen Tabs zu gewähren, damit es relevante Antworten auf die genauen Inhalte liefern kann, die Sie sich gerade ansehen. Derzeit unterstützt die App eine grundlegende Multimodalität mit Gemini. Sie können Gemini also ein Bild und Text geben und eine textbasierte Antwort erhalten. Künftig soll diese Funktion erweitert werden, um mehrere Bilder, Videos und Audioinhalte zu verarbeiten sowie Bilder zu generieren, die Webinhalte veranschaulichen.

Eine Funktion, die die Richtung der App verdeutlicht, ist die Fähigkeit, Sprachbefehle im Schwebemodus zu verstehen und darauf zu reagieren. In diesem Modus interpretiert Gemini Sprachbefehle in Bezug auf vom Nutzer ausgewählte Inhalte und liefert kontextbezogene Antworten, die zur laufenden Unterhaltung passen.

Nutzer können die Antworten von Gemini auch an ihre Präferenzen anpassen. Sie können Gemini beispielsweise bitten, Informationen zu vereinfachen, weiterführende Fragen zu stellen, um das Verständnis zu vertiefen, oder Inhalte in ausgewählte Sprachen zu übersetzen. Mit dieser Erweiterung soll nicht nur die Navigation im Web verbessert, sondern auch der Alltag erleichtert werden, indem Barrieren für digitale Inhalte beseitigt werden.