ASD-Support

Funktion

Mit der App können Nutzer mit Gemini kommunizieren, als wären sie in einer Sitzung zur angewandten Verhaltenstherapie für Menschen mit Autismus, um ihre sozialen Kompetenzen zu verbessern und auf sich wiederholendes/schädliches Verhalten zu achten. Die Gesprächsthemen und gezeigten Verhaltensweisen werden gespeichert, um später von Freunden, Familienmitgliedern oder Therapeuten überprüft zu werden, um die Behandlungspläne der Person zu leiten. Da Therapiesitzungen in der Regel teuer und selten sind, könnte diese Anwendung Familien helfen, ihre Familienmitglieder mit Autismus zu unterstützen.
Das Konversationsformat wird durch die einzigartige Fähigkeit von Gemini ermöglicht, sowohl visuelle als auch Audiodaten auszuwerten. Während der Unterhaltung werden Bildframes und Audiodateien in die Gemini API hochgeladen. Gemini wertet die Frames und Audio zusammen aus, sodass Gemini physische und akustische Aktionen der Person wie Gesichtsausdrücke, Sprachmelodien und Aussprache bewerten und darauf reagieren kann. Gemini kann beispielsweise ein schädliches Verhalten (sich selbst schlagen) und auch die Anzahl der Frames, in denen es aufgetreten ist, notieren. Im Laufe der Zeit kann der Fortschritt anhand der Häufigkeit des Verhaltens bewertet werden, die sich dadurch ergibt, dass das Verhalten in weniger Frames (Zeit) auftritt.
In Firebase werden die Chatprotokolle und die beobachteten Verhaltensweisen für jede Sitzung gespeichert. Auf Anfrage können die Sitzungsdaten an Gemini gesendet werden, um sie für Eltern oder Therapeuten zusammenzufassen. So können andere auf die Aktivitäten der Person aufmerksam werden, die die Informationen nutzen können, um ihr zu helfen.