การสนับสนุน ASD

Gemini ให้ความช่วยเหลือและตรวจสอบบุคคลออทิสติกที่บ้าน

การทำงาน

แอปนี้ช่วยให้ผู้ใช้สนทนากับ Gemini ได้ราวกับอยู่ในเซสชันการบำบัดทางพฤติกรรมสำหรับผู้ออทิสติก เพื่อพัฒนาทักษะทางสังคมและรับการตรวจสอบพฤติกรรมซ้ำๆ/ที่เป็นอันตราย ระบบจะจัดเก็บหัวข้อการสนทนาและพฤติกรรมที่แสดงเพื่อให้เพื่อน ครอบครัว หรือนักบำบัดพิจารณาเป็นแนวทางในแผนการรักษาของบุคคลนั้นในภายหลัง เนื่องจากเซสชันการบำบัดมักจะมีค่าใช้จ่ายสูงและจัดขึ้นไม่บ่อยนัก แอปพลิเคชันนี้จึงช่วยครอบครัวที่ประสบปัญหาให้สนับสนุนสมาชิกในครอบครัวที่เป็นโรคออทิซึมได้
รูปแบบการสนทนานี้เกิดขึ้นได้เพราะความสามารถอันโดดเด่นของ Gemini ในการประเมินทั้งข้อมูลภาพและเสียง ในระหว่างการสนทนา ระบบจะอัปโหลดเฟรมรูปภาพและไฟล์เสียงไปยัง Gemini API Gemini จะประเมินเฟรมและเสียงร่วมกัน ซึ่งช่วยให้ Gemini สามารถประเมินและตอบสนองต่อการเคลื่อนไหวของร่างกายและเสียงของบุคคล เช่น การแสดงออกทางสีหน้า น้ำเสียง การออกเสียง และอื่นๆ เช่น Gemini สามารถจดบันทึกพฤติกรรมที่เป็นอันตราย (การตีตนเอง) และจำนวนเฟรมที่เหตุการณ์ดังกล่าวเกิดขึ้น เมื่อเวลาผ่านไป คุณสามารถประเมินความคืบหน้าได้โดยดูที่จำนวนลักษณะการทำงานที่ลดลง ซึ่งวัดจากการที่ลักษณะการทำงานเกิดขึ้นในเฟรม (เวลา) น้อยลง
ใน Firebase ระบบจะจัดเก็บข้อความแชทและลักษณะการทำงานที่บันทึกไว้สำหรับแต่ละเซสชัน คุณสามารถส่งข้อมูลเซสชันให้ Gemini เพื่อสรุปให้ผู้ปกครองหรือนักบำบัดได้หากต้องการ ซึ่งช่วยให้ผู้อื่นที่อาจใช้ข้อมูลดังกล่าวช่วยเหลือบุคคลเหล่านั้นได้ดียิ่งขึ้นได้

สร้างขึ้นด้วย

  • Android
  • Firebase

ทีม

โดย

Edgar Martinez

จาก

แคนาดา