Assistance ASD

Description

L'application permet aux utilisateurs de converser avec Gemini comme s'ils étaient en séance de thérapie comportementale appliquée pour les personnes autistes, afin d'améliorer leurs compétences sociales et de surveiller les comportements répétitifs/nuisibles. Les sujets de conversation et les comportements affichés sont stockés pour être examinés plus tard par des amis, des membres de la famille ou des thérapeutes afin de guider les plans de traitement de l'individu. Étant donné que les séances de thérapie ont tendance à être coûteuses et peu fréquentes, cette application pourrait aider les familles en difficulté à soutenir les membres de leur famille atteints d'autisme.
Le format conversationnel est obtenu grâce à la capacité unique de Gemini d'évaluer à la fois les données visuelles et audio. Pendant la conversation, des cadres d'image et des fichiers audio sont importés dans l'API Gemini. Gemini évalue les images et l'audio ensemble, ce qui lui permet d'évaluer et de répondre aux actions physiques et auditives de l'utilisateur, comme ses expressions faciales, ses inflexions vocales, sa prononciation, etc. Par exemple, Gemini peut noter un comportement dangereux (s'automutiler) et le nombre de frames pendant lesquels il s'est produit. Au fil du temps, la progression peut être évaluée en fonction de la réduction d'un comportement, mesurée en fonction du nombre de frames (temps) au cours desquels le comportement se produit.
Sur Firebase, les transcriptions de chat et les comportements notés sont stockés pour chaque session. Sur demande, les données de la session peuvent être fournies à Gemini pour être résumées par les parents ou les thérapeutes. Cela permet de porter les activités des individus à l'attention d'autres personnes qui pourraient utiliser ces informations pour mieux les aider.