Melhor uso do app ARCore
Everies
Digitalize objetos ao seu redor e os transforme em personagens únicos, divertidos e interativos
O que faz?
Com o app everies, que usa a tecnologia Gemini, os objetos ao seu redor ganham vida com personagens únicos, divertidos e interativos "everies". Basta apontar a câmera para os objetos ao seu redor, e os olhos do Everies vão aparecer neles.
Tocar nesses olhos gera um personagem com uma personalidade, aparência, diálogo e voz distintos, tudo adaptado ao objeto, ambiente e contexto específicos. Você também pode tocar em qualquer objeto e gerar o caractere, mesmo que o olho não apareça inicialmente.
Todos os personagens podem participar de uma conversa contínua com sua entrada de voz, melhorando a interação. Você também pode salvar seus everies favoritos e suas cenas memoráveis.
A capacidade exclusiva dos everies de transformar "tudo" em personagens interativos e divertidos é um recurso marcante da tecnologia LLM, que simplifica a experiência e a torna mais fácil de usar. O processo é automatizado pela API Gemini, com detecção de objetos usando o TensorFlow Lite e geração de caracteres por arquivos JSON. O posicionamento dos olhos é determinado em altas taxas de frames usando a detecção de objetos no dispositivo combinada com a RA. O ARCore ancora os olhos e rostos dos personagens, enquanto a detecção de alta taxa de frames e o LLM multimodal (Gemini) garantem respostas rápidas e uma experiência de alta qualidade.
Atualmente na versão Beta como prova de conceito, o objetivo do everies é lançar uma versão formal com atualizações futuras, incluindo conversas contínuas com os everies favoritos e recursos de gravação de vídeo.
Desenvolvido com
- Android
- ARCore
- TensorFlow Lite
- Modelo EfficientDet para detecção de objetos
Equipe
Por
Reuniões em grupo
De
Japão