Suporte do ASD

O que faz?

O app permite que os usuários conversem com o Gemini como se estivessem em uma sessão de terapia comportamental aplicada para pessoas com autismo para melhorar as habilidades sociais e monitorar comportamentos repetitivos/nocivos. Os temas de conversa e os comportamentos exibidos são armazenados para serem analisados mais tarde por amigos, familiares ou terapeutas para orientar os planos de tratamento do indivíduo. Como as sessões de terapia tendem a ser caras e incomuns, esse aplicativo pode ajudar famílias com dificuldades a apoiar membros da família com autismo.
O formato de conversa é alcançado graças à capacidade exclusiva do Gemini de avaliar dados visuais e de áudio. Durante a conversa, os frames de imagem e os arquivos de áudio são enviados para a API Gemini. O Gemini avalia os frames e o áudio juntos, permitindo que ele avalie e responda a ações físicas e auditivas do indivíduo, como expressões faciais, inflexões vocais, pronúncia e muito mais. Por exemplo, o Gemini pode registrar um comportamento nocivo (bater em si mesmo) e também por quantos frames ele ocorreu. Com o tempo, o progresso pode ser avaliado pela redução de um comportamento, medido pela ocorrência do comportamento em menos frames (tempo).
No Firebase, as transcrições de chat e os comportamentos observados são armazenados para cada sessão. Os dados da sessão podem ser enviados ao Gemini para que ele faça um resumo para familiares ou terapeutas. Isso ajuda a trazer as atividades das pessoas à atenção de outras que podem usar as informações para ajudar melhor.