SmartVision

기능

SmartVision은 시각 장애/장애가 있는 사용자를 위한 모바일 어시스턴트로,
향상된 접근성,
독립성, 일상생활 탐색을 지원합니다. 이 모바일 어시스턴트는 기술을 활용하여 시각 장애인의 니즈에 맞는 다양한 기능을 제공함으로써 일상적인 작업을 더 쉽게 처리하고 사회에 더 적극적으로 참여할 수 있도록 지원합니다.
이 Android 앱에는 객체 감지, 문서 요약, 읽기 모드, 얼굴 감지, 제품 스캔과 같은 기능이 있습니다. 물체 감지 및 문서 요약 기능은 Gemini API를 사용하여 빌드됩니다.특히 물체 감지는 Gemini-1.5-Pro에 비해 속도가 빠르므로 Gemini-1.5-Flash 모델을 사용합니다. 물체 감지 기능을 사용하려면 사용자가 Wi-Fi 지원 카메라 모듈이 장착된 스마트 모자를 착용해야 합니다. 이 카메라에서 촬영한 이미지는 모바일 앱에 표시되고 Gemini API에 실시간으로 캡처된 이미지를 설명하기 위해 원격 Gemini API로 전송됩니다. 설명은 시각 장애 사용자의 편의를 위해 텍스트 음성 변환 기능을 사용하여 사용자에게 읽혀지거나 공지됩니다. 또한 요약 문서(pdf만 해당)는 Gemini-1.5-pro 모델을 사용하여 빌드됩니다. 이 기능을 사용하려면 사용자가 휴대전화의 메모리에 있는 PDF 문서를 선택하고 프롬프트 텍스트를 설정해야 합니다 (예: PDF 문서를 150단어로 요약). Gemini API는 PDF에 있는 텍스트 콘텐츠를 요약하여 사용자에게 알립니다.