Ally

Funktion

Ally ist ein Assistent für den Alltag, der Menschen mit Blindheit oder eingeschränktem Sehvermögen dabei helfen soll, unabhängiger zu leben. Sie bietet über eine Konversationsoberfläche schnelle und leicht zugängliche Informationen über die Umgebung, sodass Nutzer in Echtzeit einfach auf wichtige Details zugreifen können. Die App kann verschiedene Aufgaben erledigen, z. B. Wettervorhersagen geben, personalisierte Empfehlungen aus einem Menü machen oder Webformulare ausfüllen – und das alles nur durch Fragen.
Wir nutzen die Vorteile der Gemini API, um die Funktionen der App auf zwei wichtige Arten zu verbessern:
Personalisierung und kontextbezogene Informationen: Mit dem langen Kontextfenster von Gemini und der Integration in Firebase speichern wir Einbettungen von Nutzerinformationen, damit die App personalisierte, kontextbezogene und aussagekräftige Antworten liefern kann. So kann der Assistent die Nutzereinstellungen und den bisherigen Verlauf speichern und Antworten liefern, die auf ihre spezifischen Anforderungen und Situationen zugeschnitten sind.
Optimierte Funktionalität: Der Funktionsaufruf von Gemini ist entscheidend, um Nutzerfragen an die effektivsten Algorithmen weiterzuleiten. Egal, ob Sie Ihren Terminplan prüfen, das Wetter abrufen oder Formulare im Web ausfüllen möchten – Gemini leitet die Anfrage nahtlos an das richtige Tool weiter.
Ally zeichnet sich vor allem durch seine Barrierefreiheit aus. So können Nutzer nahtlos über das Web, Smartphones, Smartglasses oder sogar über einen einfachen Anruf mit ihm interagieren.