Blind Nav

기능

저는 장애인이 주변을 탐색하는 데 도움이 되는 앱을 빌드했습니다. 앱에는 사용자에게 환경에 관해 안내하는 '탐색 모드', 사용자가 주변에 관해 특정 사항을 묻는 데 도움이 되는 '어시스턴트 모드', 마지막으로 사용자가 책이나 표지판과 같은 물건을 읽는 데 도움이 되는 '읽기 모드'라는 세 가지 기본 모드가 있습니다.
Gemini AI API는 프로젝트의 세 파일에서 사용되었으며 각 파일은 위의 각 모드에 할당됩니다.
따라서 사용자 휴대전화의 카메라가 실시간 프레임/이미지를 캡처한 다음 Gemini 입력 상자로 전송하고 Gemini는 각 모델이 학습되면 출력으로 프롬프트를 생성한 다음 출력 프롬프트가 오버레이에 표시되며 TTS (텍스트 음성 변환)를 통해 시각 장애인이 음성을 듣고 쉽게 탐색할 수 있습니다.