SmartVision

O que faz?

O SmartVision é um assistente para dispositivos móveis voltado a usuários com
dificuldades visuais,que oferece acessibilidade aprimorada,
independência e ajuda na navegação do dia a dia. Esse assistente para dispositivos móveis usa a tecnologia para oferecer uma ampla gama de recursos e funcionalidades adaptados às necessidades de pessoas com deficiência visual, com o objetivo de tornar as tarefas diárias mais fáceis de gerenciar e permitir uma maior participação na sociedade.
Esse app para Android tem recursos como Detect Objects, Summarize docs, Reading Mode, Detect Faces e Scan Products. Os recursos de detecção de objetos e resumo de documentos são criados usando a API Gemini.A detecção de objetos, em particular, usa o modelo Gemini-1.5-Flash, que é mais rápido em comparação com o Gemini-1.5-Pro. Para usar o recurso de detecção de objetos, o usuário precisa usar um Smart cap com um módulo de câmera habilitado para Wi-Fi. As imagens tiradas dessa câmera vão aparecer no app para dispositivos móveis e serão enviadas à API Gemini remota para descrever a imagem capturada em tempo real pela API Gemini. A descrição será lida ou anunciada ao usuário usando o recurso de texto para fala para conveniência do usuário com deficiência visual. Além disso, os documentos resumidos(somente PDF) são criados usando o modelo Gemini-1.5-pro. Para usar esse recurso, o usuário precisa selecionar um documento PDF que esteja na memória do smartphone e definir um texto de comando (por exemplo, resumir o documento PDF em 150 palavras). A API Gemini vai resumir o conteúdo de texto presente no PDF e anunciar isso ao usuário.