AvvA

Funktion

AvvA wurde so konzipiert, dass es von überall in Android aus zugänglich ist. Sobald Gemini aktiviert ist, wird ein Screenshot der aktuell geöffneten App erstellt.
Der Nutzer hat sofort Zugriff auf diesen Screenshot und kann Text per Sprachbefehl oder Eingabe eingeben, um eine Aufgabe auszuführen, die er von Gemini anfordern möchte. Wir haben die Gemini API so konfiguriert, dass sie die Screenshots verarbeitet und im Chatmodus antwortet. So kann der Nutzer einfache Zweifel klären oder bestätigen oder bei Bedarf sogar eine ausführlichere Unterhaltung führen.
Außerdem verwenden wir Gemini, um mögliche Nutzeraktionen zu interpretieren, z. B. um zu erkennen, ob ein Nutzer einen Song abspielen möchte. Die Antwort von Gemini kann AvvA dazu auffordern, andere Apps zu öffnen und Aktionen auszuführen. So kann YouTube beispielsweise geöffnet und auf den von Gemini erkannten Titel geklickt werden.
Weitere Aktionen, bei denen der Bildschirmkontext verwendet wird: Nachrichten in sozialen Medien prüfen, Inhalte übersetzen, Vorschläge für das, was in einer Unterhaltung gesagt werden soll, anfordern.
Alle Antworten von Gemini können ganz einfach kopiert und in anderen Anwendungen verwendet werden.