Assistenza ASD

Descrizione

L'app consente agli utenti di conversare con Gemini come se fossero in una sessione di terapia comportamentale applicata per persone con autismo per migliorare le loro abilità sociali ed essere monitorati per comportamenti ripetitivi/dannosi. Gli argomenti di conversazione e i comportamenti mostrati vengono memorizzati per essere successivamente esaminati da amici, familiari o terapisti al fine di orientare i piani di cura della persona. Poiché le sessioni di terapia tendono ad essere costose e poco frequenti, questa applicazione potrebbe aiutare le famiglie in difficoltà a supportare i membri con autismo.
Il formato di conversazione è ottenuto grazie alla capacità unica di Gemini di valutare i dati sia visivi che audio. Durante la conversazione, i frame delle immagini e i file audio vengono caricati nell'API Gemini. Gemini valuta insieme i frame e l'audio, il che gli consente di valutare e rispondere alle azioni fisiche e uditive dell'individuo, come espressioni facciali, inflessioni vocali, pronuncia e altro ancora. Ad esempio, Gemini può prendere nota di un comportamento dannoso (autolesionismo) e anche per quanti fotogrammi si è verificato. Nel tempo, i progressi possono essere valutati in base alla misura in cui un comportamento viene ridotto, misurata dal verificarsi del comportamento in meno frame (tempo).
Su Firebase, le trascrizioni della chat e i comportamenti rilevati vengono archiviati per ogni sessione. Su richiesta, i dati della sessione possono essere forniti a Gemini per essere riassunti per genitori o terapisti. In questo modo, le attività delle persone vengono portate all'attenzione di altri che potrebbero utilizzare le informazioni per aiutarle meglio.