Jayu

기능

Jayu는 Gemini의 기능을 화면 상호작용과 원활하게 통합하는 혁신적인 개인 어시스턴트입니다. Jayu는 LLM이 할 수 있는 작업의 한계를 뛰어넘어 Gemini를 활용하여 기술에 능숙한 사용자부터 기술에 익숙하지 않은 사용자까지 모두를 위한 사용자 중심 환경을 제공합니다. Docker 컨테이너, 복잡한 인터페이스, Gemini 외의 다른 LLM 또는 VLM이 없습니다. Speech-to-Text, 텍스트 음성 변환, 동작 인식 기능이 사용성을 위해 내장되어 있습니다.

Jayu의 강점은 화면을 맥락으로 사용하여 프롬프트에 응답하고 화면의 요소와 상호작용할 수 있는 고유한 기능에 있습니다. Jayu는 다이어그램을 기반으로 코드를 작성하는 것부터 앱과 직접 상호작용하는 것, 실시간 번역을 읽어주는 것까지 모두 할 수 있습니다.

명령 센터로 Flash 모델이 사용됩니다. 모델은 사용자의 안내를 받은 후 함수 호출을 사용하여 다른 Gemini 모델을 호출하여 필요한 경우 작업을 지원합니다. 프롬프트 엔지니어링을 통해 Flash 모델은 Chrome과 직접 상호작용하고 빠른 질문에 답변하는 반면, Pro 모델은 Gemini의 강력한 비전 기능을 사용하여 앱 창을 분석하도록 학습됩니다. 또한 Gemini의 객체 감지 기능을 통해 Jayu는 화면에 표시되는 버튼을 클릭할 수 있습니다.

화면이나 파일에 액세스할 수 있는 보안 위험을 잘 알고 있습니다. Jayu는 표시되지 않는 폴더나 앱에 액세스할 수 없습니다. Jayu는 직접 메시지가 표시되는 경우에만 화면을 확인합니다. 또한 Jayu는 이미지나 녹화 파일의 메모리 또는 로그를 보관하지 않습니다.