Obsługa ASD

Działanie

Aplikacja pozwala użytkownikom na rozmowę z Gemini tak, jak podczas sesji terapii behawioralnej stosowanej w przypadku osób z autyzmem, aby poprawić ich umiejętności społeczne i monitorować powtarzające się lub szkodliwe zachowania. Tematy rozmów i występujące zachowania są przechowywane, aby później mogli je przejrzeć przyjaciele, rodzina lub terapeuci, którzy na ich podstawie opracują plany terapii. Sesje terapeutyczne są zwykle drogie i nieczęste, więc ta aplikacja może pomóc rodzinom w wsparciu osób z autyzmem.
Format konwersacyjny jest możliwy dzięki unikalnej zdolności Gemini do oceny danych wizualnych i dźwiękowych. Podczas rozmowy ramki obrazów i pliki audio są przesyłane do interfejsu Gemini API. Gemini analizuje razem klatki i dźwięk, co pozwala oceniać i reagować na działania fizyczne i słuchowe użytkownika, takie jak mimika twarzy, intonacja głosu czy wymowa. Na przykład Gemini może odnotować szkodliwe zachowanie (bicie się) oraz ile klatek trwało to działanie. Z biegiem czasu postępy można oceniać na podstawie tego, jak bardzo dane zachowanie zostało ograniczone, mierzone przez liczbę klatek (czasu), w których występuje.
W Firebase przechowywane są transkrypcje czatów i zauważone zachowania w przypadku każdej sesji. Na żądanie dane sesji mogą zostać przekazane do Gemini w celu ich podsumowania dla rodziców lub terapeutów. Dzięki temu działania użytkowników mogą zostać zauważone przez inne osoby, które mogą wykorzystać te informacje, aby udzielić im pomocy.