TwilightNav

Funktion

Die App nutzt die Gemini API, um die Nutzerinteraktion durch zwei wichtige Funktionen zu verbessern:

Inhaltsanalyse und -strukturierung: Die Gemini API analysiert das HTML-Format einer Webseite und wandelt es in eine hierarchische Baumstruktur um. In dieser Struktur steht jeder Knoten für ein bestimmtes Inhaltselement, das sowohl eine Beschreibung dieses Elements als auch eine Zusammenfassung seiner untergeordneten Elemente enthält. Diese Organisation ermöglicht eine effiziente Verarbeitung und Verständlichkeit von Webseiteninhalten.

Intent-Erkennung und Navigation: Die Gemini API spielt auch eine wichtige Rolle bei der Erkennung von Nutzeranweisungen. Er verarbeitet die Spracheingaben, um den Intent des Nutzers zu erkennen, und identifiziert den entsprechenden Zielknoten innerhalb der Baumstruktur. Die API kategorisiert Nutzerbefehle in sechs Absichten: Navigation zu einer Website, Zusammenfassung, Lesen von Inhalten, Abfragen von Informationen, Klicken auf Elemente und Ausfüllen von Formularen.

Mithilfe dieser Funktionen können Nutzer mit der App eine Vielzahl von webbasierten Aufgaben per Sprachbefehl und Geste ausführen, was das Surfen barrierefreier und intuitiver macht.