everies

주변 사물을 상호작용형 캐릭터로 변환하는 AR

기능

Gemini 기술을 기반으로 하는 everies 앱을 사용하면 주변 물체에 독특하고 재미있는 양방향 캐릭터 'everies'가 생생하게 표시됩니다. 카메라로 주변 사물을 스캔하기만 하면 에베리의 눈이 사물 위에 나타납니다.
이 눈을 탭하면 특정 객체, 환경, 맥락에 맞게 조정된 고유한 개성, 외모, 대화, 목소리를 가진 캐릭터가 생성됩니다. 어떤 사물이든 탭하면 처음에 눈이 나타나지 않더라도 에베리 캐릭터를 생성할 수 있습니다.
모든 캐릭터가 음성 입력을 통해 지속적인 대화에 참여하여 상호작용을 개선합니다. 좋아하는 에피소드와 기억에 남는 장면도 저장할 수 있습니다.

무엇이든 무엇이든 해낼 수 있는 베리의 기능 는 LLM 기술의 뛰어난 기능으로, 환경을 단순화하고 보다 사용자 친화적으로 만듭니다. 이 프로세스는 TensorFlow Lite를 기반으로 하는 객체 감지와 JSON 파일을 통한 문자 생성을 통해 Gemini API에 의해 자동화됩니다. 기기 내 객체 감지와 AR을 결합하여 고속 프레임으로 눈의 위치를 확인합니다. ARCore는 캐릭터의 높은 프레임 속도 감지와 멀티모달 LLM (Gemini)을 통해 빠른 응답과 고품질 경험을 보장합니다.

개념 증명으로 현재 베타 버전으로 제공되고 있는 Everies는 좋아하는 아티스트와의 지속적인 대화, 동영상 녹화 기능 등 향후 업데이트를 포함하는 공식 출시를 목표로 하고 있습니다.

구성용 제품

  • Android
  • ARCore
  • TensorFlow Lite
  • 객체 감지를 위한 EfficientDet 모델

업데이트 담당자

팀 에버리스

From

일본