SecondEye

用途

SecondEye 是互動式視覺助理，可接受訓練。可用於各種視覺相關工作和用途。無須訓練或程式設計，也能教導它執行個人化視覺任務。並以互動式和迭代式的方式進行。
由於 Gemini 具備下列獨特功能，目前只能使用 Gemini 建構 SecondEye：
1. 物件偵測功能，可傳回準確的定界框位置
2. 原生影片支援功能，可傳回帶有時間戳記的資訊
3. 大範圍的內容參考視窗
SecondEye 運用這些功能提供以下獨特且全新的 AI 體驗：
• 圖片 (使用第 1 項功能)：
◦ 註解物件定義
◦ 詢問圖片的特定部分
◦ 強化功能：
▪ 物件搜尋
▪ 如何修正或組合問題
▪ 視覺回饋要求
◦ 教導模型圖片的註解部分
• 影片 (使用第 2 項功能)：
◦ 強化影片搜尋體驗
• 即時影像攝影機影片 (使用第 3 項功能)：
◦ 個人化即時影片分析
◦ 透過影片教導模型
◦ 針對視障人士提供即時視覺輔助，可記住臉孔、物件和地點，以利日後辨識
• 直播螢幕分享 (使用第 3 項功能)：
◦ 教導模型工作流程
◦ IT 或程式設計支援
◦ 改善視障人士的網頁瀏覽和一般電腦使用體驗