SmartVision

用途

SmartVision 是專為視障/視障人士設計的行動助理，可協助他們在日常生活中提高可用性、自立自強，並提供協助。

這款行動助理運用科技提供多種功能，以滿足視障人士的需求，讓他們更容易處理日常事務，並更積極參與社會活動。
這個 Android 應用程式提供多種功能，包括偵測物體、摘要文件、閱讀模式、偵測臉孔、掃描產品。我們使用 Gemini API 建構了「偵測物件」和「摘要文件」功能。其中，「偵測物件」功能特別使用 Gemini-1.5-Flash 模型，因為相較於 Gemini-1.5-Pro，這個模型的速度更快。如要使用偵測物體功能，使用者必須配戴智慧帽，因為帽子上有支援 Wi-Fi 的攝影機模組。這個攝影機拍攝的圖片會顯示在行動應用程式上，並傳送至遠端 Gemini API，以便 Gemini API 即時描述拍攝的圖片。系統會使用文字轉語音功能，將說明內容朗讀或播報給使用者，方便視障人士使用。此外，摘要文件(僅限 PDF) 是使用 Gemini-1.5-pro 模型建立。如要使用這項功能，使用者必須選取手機記憶體中的 PDF 文件，並設定提示文字 (例如用 150 個字總結 PDF 文件)。Gemini API 會匯總 PDF 中的文字內容，並向使用者宣讀。