TwilightNav

Qué hace

La app utiliza la API de Gemini para mejorar la interacción del usuario a través de dos funciones clave:

Análisis y estructuración de contenido: La API de Gemini analiza el formato HTML de una página web y la convierte en una estructura de árbol jerárquica. En esta estructura, cada nodo representa un elemento de contenido específico que contiene una descripción de ese elemento y un resumen de sus elementos secundarios. Esta organización permite un procesamiento y una comprensión eficientes del contenido de la página web.

Reconocimiento de intenciones y navegación: La API de Gemini también desempeña un papel fundamental en la comprensión de las instrucciones de los usuarios. Procesa la entrada de voz para detectar el intent del usuario y, luego, identifica el nodo de destino correspondiente dentro de la estructura de árbol. La API clasifica los comandos del usuario en seis intents: navegar a un sitio web, resumir, leer contenido, consultar información, hacer clic en elementos y completar formularios.

Gracias a estas funciones, la app permite a los usuarios realizar una variedad de tareas basadas en la Web a través de gestos y comandos por voz, lo que hace que la experiencia de navegación sea más intuitiva y accesible.