Jayu

Descrizione

Jayu è un assistente personale rivoluzionario che integra perfettamente le funzionalità di Gemini con l'interazione sullo schermo. Superando i limiti di ciò che un modello LLM dovrebbe essere in grado di fare, Jayu utilizza Gemini per offrire un'esperienza incentrata sull'utente, per tutti, dagli utenti esperti di tecnologia a quelli meno esperti. Nessun container Docker, nessuna interfaccia complessa e nessun altro LLM o VLM oltre a Gemini. Le funzionalità di conversione da voce a testo, da testo a voce e di riconoscimento dei gesti sono integrate per l'usabilità.

La forza di Jayu risiede nella sua capacità unica di rispondere ai prompt con lo schermo come contesto e di interagire con gli elementi sullo schermo. Jayu può fare di tutto, dalla scrittura di codice basato su un diagramma all'interazione diretta con le app fino alla lettura di traduzioni in tempo reale.

Un modello Flash viene utilizzato come centro di comando. Dopo aver ricevuto le istruzioni dall'utente, il modello utilizza le chiamate di funzione per chiamare altri modelli Gemini per aiutarlo a svolgere la sua attività, se necessario. Grazie alla progettazione dei prompt, i modelli Flash interagiscono direttamente con Chrome e rispondono a brevi domande, mentre i modelli Pro sono addestrati a utilizzare le potenti funzionalità di visione di Gemini per analizzare le finestre delle app. Inoltre, le funzionalità di rilevamento degli oggetti di Gemini consentono a Jayu di fare clic sui pulsanti che vede sullo schermo.

Siamo consapevoli dei rischi per la sicurezza derivanti dall'accesso allo schermo o ai file. Jayu non può accedere a cartelle o app che non gli vengono mostrate. Jayu guarderà lo schermo solo se glielo chiedi direttamente. Inoltre, non conserva alcuna memoria o log di immagini o registrazioni.