SmartVision

标语:赋予您力量,助您从容应对生活

作用

SmartVision 是一款面向视障/视力障碍用户的移动助理,可为他们提供增强型无障碍功能,帮助他们独立自如地应对日常生活。

这款移动助理利用技术提供各种功能,以满足视障人士的需求,让他们更轻松地完成日常任务,并更好地参与社会活动。
这款 Android 应用具有检测对象、总结文档、阅读模式、检测人脸、扫描商品等功能。“检测对象”和“总结文档”功能是使用 Gemini API 构建的。其中,“检测对象”功能使用 Gemini-1.5-Flash 模型,因为该模型的速度比 Gemini-1.5-Pro 更快。如需使用“检测物体”功能,用户必须佩戴一顶内置 Wi-Fi 摄像头模块的智能帽子。通过此摄像头拍摄的图片将显示在移动应用中,并发送到远程 Gemini API,以便 Gemini API 实时描述所拍摄的图片。系统会使用文本转语音功能朗读或向用户播报该描述,以方便视障用户。此外,摘要文档(仅限 PDF 格式)是使用 Gemini-1.5-pro 模型构建的。如需使用此功能,用户需要选择存储在手机内存中的 PDF 文档,并设置提示文本(例如,用 150 个字总结 PDF 文档)。Gemini API 会总结 PDF 中显示的文本内容,并将其读给用户听。

可采用以下设备打造

  • Android
  • 机器学习套件(为图片加标签)
  • 对象检测和跟踪
  • 文字识别
  • 条形码扫描
  • 人脸检测

团队

更新者

SmartVision(团队成员:Karthik Ramachandran)

发件人

印度