Jayu

用途

Jayu 是一種創新的個人助理，可將 Gemini 的功能與螢幕互動功能完美整合。Jayu 突破了 LLM 的限制，利用 Gemini 提供以使用者為中心的體驗，無論是對科技精通的使用者，還是不熟悉科技的使用者，都能享有這項體驗。沒有 Docker 容器、複雜的介面，以及除了 Gemini 以外的其他大型語言模型或虛擬語言模型。內建語音轉文字、文字轉語音和手勢辨識功能，可提升使用體驗。

Jayu 的優勢在於，它能以螢幕畫面做為上下文，回應提示並與畫面元素互動。從根據圖表編寫程式碼，到直接與應用程式互動，再到讀出即時翻譯內容，Jayu 都能勝任。

Flash 模型可做為指揮中心，收到使用者的指示後，模型會透過函式呼叫來呼叫其他 Gemini 模型，以便在必要時協助執行任務。透過提示設計，Flash 模型可直接與 Chrome 互動並回答快速問題，而 Pro 模型則經過訓練，可使用 Gemini 強大的視覺功能分析應用程式視窗。而 Gemini 的物件偵測功能可讓 Jayu 按下螢幕上顯示的按鈕。

我們瞭解存取螢幕或檔案會帶來安全風險，因此 Jayu 無法存取未顯示的資料夾或任何應用程式。除非系統直接提示，否則 Jayu 不會查看你的螢幕。此外，Jayu 也不會保留任何圖片或錄影的記憶體或記錄。