TwilightNav

Description

L'application utilise l'API Gemini pour améliorer l'interaction utilisateur grâce à deux fonctions clés:

Analyse et structuration du contenu: l'API Gemini analyse le format HTML d'une page Web, et la convertit en structure arborescente hiérarchique. Dans cette structure, chaque nœud représente un élément de contenu spécifique, contenant à la fois une description de cet élément et un récapitulatif de ses éléments enfants. Cette organisation permet de traiter et de comprendre efficacement le contenu des pages Web.

Reconnaissance de l'intention et navigation: l'API Gemini joue également un rôle crucial dans la compréhension des instructions des utilisateurs. Il traite l'entrée vocale pour détecter l'intent de l'utilisateur et identifier le nœud cible correspondant dans la structure arborescente. L'API catégorise les commandes utilisateur en six intents: accéder à un site Web, résumer, lire du contenu, interroger des informations, cliquer sur des éléments et remplir des formulaires.

En exploitant ces fonctionnalités, l'application permet aux utilisateurs d'effectuer diverses tâches Web à l'aide de commandes vocales et de gestes, ce qui rend l'expérience de navigation plus accessible et intuitive.