Towarzysz 1

Działanie

„Companion” to rozszerzenie do Chrome, które ma na celu zwiększenie dostępności i przyjazności internetu, zwłaszcza dla osób z niepełnosprawnością wzroku, umysłową lub językową. Aplikacja korzysta z interfejsu Gemini API, aby upraszczać złożone treści internetowe, dzięki czemu stają się one łatwiejsze do zrozumienia.

Głównym założeniem aplikacji Companion jest przyznanie Gemini bezpośredniego dostępu do treści internetowych z bieżącej karty, co pozwala na udzielanie trafnych odpowiedzi na tematy, które aktualnie przeglądasz. Obecnie aplikacja obsługuje podstawową multimodalność z Gemini, co pozwala na wysłanie do Gemini prompta z obrazem i tekstem oraz otrzymanie odpowiedzi tekstowej. W planach mamy rozszerzenie tej funkcji o przetwarzanie wielu obrazów, filmów i dźwięku, a także generowanie obrazów, które pomogą zilustrować treści w internecie.

Funkcja, która dobrze obrazuje kierunek rozwoju aplikacji, to jej zdolność do rozumienia i reagowania na polecenia głosowe w trybie nawigacji. W tym trybie Gemini interpretuje polecenia głosowe w związku z wybranymi przez użytkownika treściami, podając odpowiedzi uwzględniające kontekst, które pasują do bieżącej rozmowy.

Użytkownicy mogą też dostosowywać odpowiedzi Gemini do swoich preferencji. Możesz na przykład poprosić Gemini o upraszczanie informacji, zadawanie pytań uzupełniających, aby lepiej zrozumieć temat, lub tłumaczenie treści na wybrane języki. Rozszerzenie ma na celu nie tylko ułatwić nawigację w internecie, ale też poprawić codzienne wrażenia użytkowników przez usunięcie barier w dostępie do treści cyfrowych.