Melhor uso do app ARCore

Everies

Digitalize objetos ao seu redor e os transforme em personagens únicos, divertidos e interativos

O que faz?

Com o app everies, que usa a tecnologia Gemini, os objetos ao seu redor ganham vida com personagens únicos, divertidos e interativos "everies". Basta apontar a câmera para os objetos ao seu redor, e os olhos do Everies vão aparecer neles.
Tocar nesses olhos gera um personagem com uma personalidade, aparência, diálogo e voz distintos, tudo adaptado ao objeto, ambiente e contexto específicos. Você também pode tocar em qualquer objeto e gerar o caractere, mesmo que o olho não apareça inicialmente.
Todos os personagens podem participar de uma conversa contínua com sua entrada de voz, melhorando a interação. Você também pode salvar seus everies favoritos e suas cenas memoráveis.

A capacidade exclusiva dos everies de transformar "tudo" em personagens interativos e divertidos é um recurso marcante da tecnologia LLM, que simplifica a experiência e a torna mais fácil de usar. O processo é automatizado pela API Gemini, com detecção de objetos usando o TensorFlow Lite e geração de caracteres por arquivos JSON. O posicionamento dos olhos é determinado em altas taxas de frames usando a detecção de objetos no dispositivo combinada com a RA. O ARCore ancora os olhos e rostos dos personagens, enquanto a detecção de alta taxa de frames e o LLM multimodal (Gemini) garantem respostas rápidas e uma experiência de alta qualidade.

Atualmente na versão Beta como prova de conceito, o objetivo do everies é lançar uma versão formal com atualizações futuras, incluindo conversas contínuas com os everies favoritos e recursos de gravação de vídeo.

Desenvolvido com

  • Android
  • ARCore
  • TensorFlow Lite
  • Modelo EfficientDet para detecção de objetos

Equipe

Por

Reuniões em grupo

De

Japão