Recycling Advisor 3D

Funktion

Recycling Advisor 3D ist eine Webanwendung, in der Sie ein Foto hochladen und von einem sprechenden 3D-Avatar Ratschläge zum Recycling erhalten können. Gegebenenfalls wird im Avatar auch das nächstgelegene Recyclingcenter vorgeschlagen, das die auf dem Foto gezeigten Artikel annimmt. Kommunale Behörden, die für die Abfallwirtschaft zuständig sind, können die App als Komponente auf ihren Websites einbetten, um für die richtige Entsorgung zu werben und ihren Bürgern zu helfen. Jede Komponente kann lokalisiert werden, um Informationen zu lokalen Recyclingzentren und lokalen Richtlinien zu enthalten. Sie können auch den 3D-Charakter, die Sprache und/oder die Stimme ändern. Die App macht das Recycling einfach, unterhaltsam und ansprechend und trägt so zum Schutz der Umwelt bei.

Die App lädt das Foto über die File API in Gemini hoch und führt multimodale Gemini API-Aufrufe mithilfe von Multi-Turn-Funktionsaufrufen aus. In der ersten Runde klassifiziert Gemini die Gegenstände auf dem Foto und bittet je nach Kategorie der Gegenstände um genauere Informationen. Der endgültige Textantwort-Stream wird an einen animierten 3D-Avatar weitergeleitet, der mithilfe von Google Cloud Speech-to-Text-KI-Stimmen in Echtzeit sprechen und die Lippen synchronisieren kann. Für gehörlose oder schwerhörige Nutzer werden Untertitel eingeblendet. Gemini generiert nicht nur die Antwort, die der Avatar sprechen soll, sondern steuert auch seine Gesten und Gesichtsausdrücke mithilfe von Keywords und Emojis. Das nächstgelegene Recyclingcenter wird anhand der Gemini-Antwort und des Standorts des Nutzers berechnet und auf einer Karte angezeigt, die von der Google Maps Static API generiert wird.