SmartAvatar

Funktion

Unsere App macht Livestreams interaktiv: Zuschauer können über den YouTube-Chat Fragen stellen und in Echtzeit Antworten von einem KI-gestützten Avatar von Einstein erhalten. Die App nutzt die Gemini API, um Antworten auf Fragen des Publikums zu verarbeiten und zu generieren. Wenn eine Frage empfangen wird, wird sie zur Beantwortung an die Gemini API gesendet und gleichzeitig über einen Text-zu-Sprach-Dienst in Audio umgewandelt. Diese Audioinhalte werden dann mit einem lipsyncfähigen Einstein-Avatar in Unity3D synchronisiert, wodurch der Eindruck entsteht, dass Einstein direkt zu den Zuschauern spricht. Der gesamte Prozess wird live auf YouTube gestreamt. Zuschauer können also ihre Frage, ihren Namen und ihr Foto auf dem Bildschirm sehen, während Einstein antwortet. Für einen reibungslosen Ablauf werden Fragen in eine Warteschlange gestellt und nacheinander verarbeitet. Sowohl Fragen als auch Antworten werden geordnet verwaltet. Die Einbindung der Gemini API ist entscheidend, um korrekte und zeitnahe Antworten zu liefern und die Nutzung für Nutzer dynamisch und ansprechend zu gestalten.