ASD 지원

기능

이 앱을 사용하면 사용자가 마치 자폐증 환자를 위한 행동 치료 세션에 참여하는 것처럼 Gemini와 대화하여 사회적 기술을 개선하고 반복적/유해한 행동을 모니터링할 수 있습니다. 대화 주제와 나타난 행동은 나중에 친구, 가족 또는 치료사가 검토하여 개인의 치료 계획을 안내할 수 있도록 저장됩니다. 치료 세션은 비용이 많이 들고 빈도가 낮은 경향이 있으므로 이 애플리케이션은 어려움을 겪고 있는 가족이 자폐증이 있는 가족 구성원을 지원하는 데 도움이 될 수 있습니다.
대화 형식은 Gemini의 시각적 데이터와 오디오 데이터를 모두 평가하는 고유한 기능 덕분에 구현됩니다. 대화 중에 이미지 프레임과 오디오 파일이 Gemini API에 업로드됩니다. Gemini는 프레임과 오디오를 함께 평가하여 표정, 음성 억양, 발음 등 개인의 신체적 및 청각적 행동을 평가하고 이에 대응할 수 있습니다. 예를 들어 Gemini는 유해한 행동 (자해)과 이 행동이 발생한 프레임 수를 기록할 수 있습니다. 시간이 지남에 따라 진행 상황은 동작이 줄어든 정도를 측정하여 평가할 수 있습니다. 동작이 더 적은 프레임 (시간)에 발생하면 줄어든 정도가 더 큽니다.
Firebase에서는 세션별로 채팅 스크립트와 기록된 동작이 저장됩니다. 요청 시 세션 데이터를 Gemini에 제공하여 부모나 치료사를 위해 요약할 수 있습니다. 이렇게 하면 정보를 사용하여 개인을 더 효과적으로 지원할 수 있는 다른 사용자의 주목을 받을 수 있습니다.