Jayu

作用

Jayu 是一款革命性的个人助理，可将 Gemini 的功能与屏幕互动无缝集成。Jayu 突破了 LLM 应能执行的操作限制，利用 Gemini 为从精通技术的用户到技术水平较低的用户提供以用户为中心的体验。无需 Docker 容器，无需复杂的界面，除了 Gemini 之外，无需其他 LLM 或 VLM。为了提高易用性，系统内置了语音转文字、文字转语音和手势识别功能。

Jayu 的优势在于，它能够以屏幕内容为背景回答问题，并与屏幕元素互动。从根据图表编写代码，到直接与应用互动，再到读出实时翻译，Jayu 都能胜任。

Flash 模型用作指挥中心。收到用户的指令后，模型会使用函数调用来调用其他 Gemini 模型，以便在必要时协助完成任务。Flash 模型通过提示工程技术直接与 Chrome 互动并回答简短问题，而 Pro 模型则经过训练，可使用 Gemini 强大的视觉功能分析应用窗口。借助 Gemini 的物体检测功能，Jayu 可以点击屏幕上显示的按钮。

我们知道，访问您的屏幕或文件会带来安全风险；Jayu 无法访问未向其显示的文件夹或任何应用。只有在收到直接提示时，Jayu 才会查看您的屏幕。此外，Jayu 不会保留任何图片或录音的存储空间或日志。