Поддержка РАС

Что он делает

Приложение позволяет пользователям общаться с Gemini, как если бы они находились на сеансе прикладной поведенческой терапии для людей с аутизмом, чтобы улучшить их социальные навыки и отслеживать повторяющееся/вредное поведение. Темы разговоров и демонстрируемое поведение сохраняются для последующего просмотра друзьями, семьей или терапевтами, чтобы направлять планы лечения человека. Поскольку сеансы терапии, как правило, дороги и редки, это приложение может помочь семьям, испытывающим трудности, поддерживать членов семьи с аутизмом.
Разговорный формат достигается благодаря уникальной способности Gemini оценивать как визуальные, так и аудиоданные. Во время разговора кадры изображений и аудиофайлы загружаются в API Gemini. Gemini оценивает кадры и аудио вместе, позволяя Gemini оценивать и реагировать на физические и слуховые действия человека, такие как выражение лица, интонации голоса, произношение и многое другое. Например, Gemini может отметить вредоносное поведение (удары по себе), а также количество кадров, в течение которых оно происходило. Со временем прогресс можно оценить по тому, насколько поведение сократилось, измеряя это поведение в течение меньшего количества кадров (времени).
На Firebase сохраняются стенограммы чатов и отмеченное поведение для каждого сеанса. По запросу данные сеанса могут быть предоставлены Gemini для обобщения для родителей или терапевтов. Это помогает привлечь внимание других людей к действиям людей, которые могли бы использовать эту информацию, чтобы помочь им лучше.