Everies

RA que transforma objetos ao redor em personagens interativos.

O que faz?

Com o app everies, que usa a tecnologia Gemini, seus objetos ganham vida com personagens interativos e divertidos, os "everies". Basta apontar a câmera para os objetos ao seu redor, e os olhos do Everies vão aparecer neles.
Tocar nesses olhos gera um personagem com uma personalidade, aparência, diálogo e voz distintos, tudo adaptado ao objeto, ambiente e contexto específicos. Você também pode tocar em qualquer objeto e gerar um personagem Sempre, mesmo que o olho não apareça inicialmente.
Todos os personagens podem interagir continuamente com a entrada de texto por voz, melhorando a interação. Você também pode salvar seus encontros favoritos e cenas inesquecíveis.

A capacidade única do appeverie de transformar "tudo" em personagens interativos e lúdicos é um recurso de destaque da tecnologia LLM, simplificando a experiência e tornando-a mais fácil de usar. O processo é automatizado pela API Gemini, com detecção de objetos usando o TensorFlow Lite e geração de caracteres por arquivos JSON. O posicionamento dos olhos é determinado em frame rates altos usando a detecção de objetos no dispositivo combinada com RA. O ARCore ancora os olhos e rostos, enquanto a detecção com alta taxa de quadros e o LLM multimodal (Gemini) garantem respostas rápidas e uma experiência de alta qualidade.

Atualmente na versão Beta como prova de conceito, o objetivo do everies é lançar uma versão formal com atualizações futuras, incluindo conversas contínuas com os everies favoritos e recursos de gravação de vídeo.

Desenvolvido com

  • Android
  • ARCore
  • TensorFlow Lite
  • modelo EffectiveDet para detecção de objetos (em inglês)

Equipe

Por

Reuniões em grupo

De

Japão