Recycling Advisor 3D

O que faz?

O Recycling Advisor 3D é um app da Web em que você pode fazer upload de uma foto e receber conselhos de reciclagem de um avatar 3D falante. Se aplicável, o avatar também sugere o centro de reciclagem mais próximo que aceita o tipo de item mostrado na foto. As entidades governamentais locais responsáveis pelo gerenciamento de resíduos podem incorporar o app como um componente nos sites para promover métodos de descarte adequados e ajudar os moradores. Cada componente pode ser localizado para incluir informações sobre centros de reciclagem e diretrizes locais. Também é possível mudar o personagem 3D, o idioma e/ou a voz. Ao tornar a reciclagem fácil, divertida e envolvente, o app ajuda a proteger o meio ambiente.

O app faz o upload da foto para o Gemini usando a API File e faz chamadas multimodais da API Gemini usando chamadas de função multiturno. Na primeira vez, o Gemini classifica os itens na foto e pede informações mais detalhadas com base na categoria deles. O fluxo final de resposta de texto é direcionado a um avatar 3D animado que pode falar e sincronizar os lábios em tempo real usando as vozes de IA de conversão de texto em voz do Google Cloud, acompanhadas de legendas para pessoas surdas ou com deficiência auditiva. O Gemini não só gera a resposta para o avatar falar, mas também controla os gestos e as expressões faciais usando palavras-chave e emojis. O centro de reciclagem local mais próximo é calculado com base na resposta do Gemini e na localização do usuário e é apresentado com um mapa gerado pela API Google Maps Static.