Asistencia de ASD

Qué hace

La aplicación permite a los usuarios conversar con Gemini como si estuvieran en una sesión de terapia conductual aplicada para personas con autismo para mejorar sus habilidades sociales y ser supervisados por comportamientos repetitivos o dañinos. Los temas de conversación y los comportamientos que se muestran se almacenan para que, más tarde, amigos, familiares o terapeutas los revisen y guíen los planes de tratamiento de la persona. Dado que las sesiones de terapia suelen ser costosas y poco frecuentes, esta aplicación podría ayudar a las familias con dificultades a brindar apoyo a sus miembros con autismo.
El formato de conversación se logra gracias a la capacidad única de Gemini de evaluar datos visuales y de audio. Durante la conversación, los fotogramas de imagen y los archivos de audio se suben a la API de Gemini. Gemini evalúa los fotogramas y el audio en conjunto, lo que le permite evaluar y responder a las acciones físicas y auditivas de la persona, como expresiones faciales, inflexiones vocales, pronunciación y mucho más. Por ejemplo, Gemini puede tomar nota de un comportamiento dañino (autolesiones) y también de cuántos fotogramas ocurrió. Con el tiempo, el progreso se puede evaluar en función de cuánto se reduce un comportamiento, medido por la cantidad de fotogramas (tiempo) en los que se produce.
En Firebase, las transcripciones de chat y los comportamientos observados se almacenan para cada sesión. Si lo solicitas, los datos de la sesión se pueden proporcionar a Gemini para que los resuma para madres, padres o terapeutas. Esto ayuda a que las actividades de las personas llamen la atención de otras que podrían usar la información para brindarles una mejor asistencia.