ASD 支持

作用

借助该应用，用户可以与 Gemini 对话，就像在接受应用行为疗法（针对自闭症患者）一样，从而提升社交技能并监控重复性/有害行为。系统会存储对话主题和表现出的行为，以便日后供朋友、家人或治疗师查看，以指导患者的治疗计划。由于治疗课程往往价格昂贵且不常开设，因此这款应用可以帮助经济拮据的家庭为患有自闭症的家庭成员提供支持。
Gemini 具有独特的视觉和音频数据评估能力，因此能够实现对话式形式。在对话期间，系统会将图片帧和音频文件上传到 Gemini API。Gemini 会同时评估帧和音频，从而评估和响应用户的身体和听觉动作，例如面部表情、语调、发音等。例如，Gemini 可以记录有害行为（自残）以及该行为持续了多少帧。随着时间的推移，进度可以通过行为减少程度来评估，具体方法是让行为在更少的帧（时间）内发生。
在 Firebase 上，系统会存储每个会话的聊天转写和记录的行为。你可以根据需要向 Gemini 提供会话数据，以便 Gemini 为家长或治疗师提供摘要。这有助于将个人活动引入其他人的注意力，他们可以利用这些信息更好地为个人提供帮助。