Jayu

Zastosowanie

Jayu to rewolucyjny osobisty asystent, który płynnie łączy możliwości Gemini z interfejsem ekranowym. Jayu przekracza granice tego, co potrafi LLM, i korzysta z Gemini, aby zapewnić użytkownikom wygodę. Dotyczy to zarówno zaawansowanych, jak i mniej zaznajomionych z technologią osób. Nie ma kontenera Dockera, złożonego interfejsu ani żadnego innego LLM ani VLM poza Gemini. W celu ułatwienia obsługi w aplikacji wbudowano funkcje zamiany mowy na tekst, tekstu na mowę i rozpoznawania gestów.

Moc Jayu polega na jego wyjątkowej zdolności do odpowiadania na prompty z uwzględnieniem kontekstu ekranu oraz na wchodzeniu w interakcje z elementami na ekranie. Jayu potrafi pisać kod na podstawie diagramu, bezpośrednio wchodzić w interakcje z aplikacjami i czytać na głos tłumaczenia na żywo.

Model Flash jest używany jako centrum sterowania. Po otrzymaniu instrukcji od użytkownika model wywołuje inne modele Gemini, aby w razie potrzeby pomóc mu w wykonywaniu zadania. Dzięki promptom modele Flash mogą bezpośrednio wchodzić w interakcje z Chrome i odpowiadać na szybkie pytania, a modele Pro są trenowane, aby wykorzystywać zaawansowane możliwości widzenia Gemini do analizowania okien aplikacji. Dzięki możliwościom wykrywania obiektów w Gemini Jayu może klikać przyciski widoczne na ekranie.

Zdajemy sobie sprawę z ryzyka związanego z dostępem do ekranu lub plików. Jayu nie ma dostępu do folderów ani aplikacji, których nie widzi. Jayu będzie patrzeć na ekran tylko wtedy, gdy poprosisz o to bezpośrednio. Nie będzie też przechowywać żadnych danych ani dzienników dotyczących obrazów ani nagrań.