ASD サポート

機能

このアプリでは、自閉症の個人向けの応用行動療法のセッションに参加しているように、Gemini と会話して、ソーシャル スキルを向上させ、反復的または有害な行動をモニタリングできます。会話のテーマと行動は保存され、後で友人、家族、セラピストが確認して、個々の治療計画を立てることができます。セラピー セッションは費用が高く、頻繁に行われないため、このアプリは、自閉症のある家族を支援する苦労している家族をサポートするうえで役立ちます。
会話形式を実現しているのは、Gemini が映像データと音声データの両方を評価できる独自の能力です。会話中に、画像フレームと音声ファイルが Gemini API にアップロードされます。Gemini はフレームと音声を一緒に評価し、表情、声の抑揚、発音など、個人の身体的および聴覚的な動作を評価して応答します。たとえば、Gemini は有害な行為（自傷行為）と、その行為が何フレーム続いたかを記録できます。時間の経過とともに、行動がどれだけ減少したかを評価できます。これは、行動がより少ないフレーム（時間）で発生するかどうかで測定されます。
Firebase では、チャット トランスクリプトと記録された行動がセッションごとに保存されます。セッション データは、保護者やセラピスト向けに要約して Gemini に提供できます。これにより、その人の活動が他の人の注意を引くことができ、その情報を活用してその人を支援できるようになります。