ASD 支援

用途

這款應用程式可讓使用者與 Gemini 對話，就像是參與應用行為治療課程，以改善自閉症患者的社交技巧，並監控重複/有害行為。系統會儲存對話主題和行為表現，供朋友、家人或治療師日後參考，以便制定個別治療計畫。由於治療療程通常費用昂貴且不常進行，這款應用程式可協助有需要的家庭照顧自閉症患者。
Gemini 獨特的評估視覺和音訊資料的能力，讓我們能以對話格式呈現結果。對話期間，系統會將圖片影格和音訊檔案上傳至 Gemini API。Gemini 會同時評估影格和音訊，以便評估及回應個人在視覺和聽覺上的動作，例如面部表情、語調變化、發音等。舉例來說，Gemini 可以記錄有害行為 (打自己)，以及發生的時間長度。隨著時間的推移，您可以透過減少行為次數來評估進度，方法是讓行為發生的時間點減少。
在 Firebase 中，每個工作階段都會儲存即時通訊轉錄稿和記錄的行為。您可以要求將工作階段資料提供給 Gemini，以便為家長或治療師提供摘要。這有助於將個人活動資訊提供給其他人，讓他們能根據這些資訊提供更適切的協助。