Miglior utilizzo dell'app ARCore

Everies

Scansiona gli oggetti che ti circondano e trasformali in personaggi unici, divertenti e interattivi

Descrizione

Con l'app everies, basata sulla tecnologia Gemini, gli oggetti che ti circondano prendono vita con personaggi unici, divertenti e interattivi, gli "everies". Basta scansionare gli oggetti circostanti con la fotocamera e gli occhi di tutti appariranno sugli oggetti.
Se tocchi questi occhi, viene generato un personaggio con una personalità, un aspetto, un dialogo e una voce distinti, il tutto personalizzato in base all'oggetto, all'ambiente e al contesto specifici. Puoi anche toccare qualsiasi oggetto e generare ogni carattere, anche se l'occhio non viene visualizzato inizialmente.
Ogni personaggio può partecipare a una conversazione continua tramite il tuo input vocale, migliorando l'interazione. Puoi anche salvare i tuoi everie preferiti e le tue scene memorabili.

L'unica capacità di everies di trasformare "tutto" in personaggi interattivi e giocosi è una caratteristica distintiva della tecnologia LLM, che semplifica l'esperienza e la rende più user-friendly. Il processo è automatizzato dall'API Gemini, con il rilevamento degli oggetti basato su TensorFlow Lite e la generazione di caratteri tramite file JSON. Il posizionamento degli occhi viene determinato a frequenze fotogrammi elevate utilizzando il rilevamento di oggetti sul dispositivo combinato con l'AR. ARCore fissa gli occhi e i volti dei personaggi, mentre il rilevamento ad alta frequenza frame e l'LLM multimodale (Gemini) garantiscono risposte rapide e un'esperienza di alta qualità.

Attualmente in versione beta come proof of concept, everies punta a una release formale con aggiornamenti futuri, tra cui conversazioni continue con le everies preferite e funzionalità di registrazione video.

Realizzato con

  • Android
  • ARCore
  • TensorFlow Lite
  • Modello EfficientDet per il rilevamento di oggetti

Team

Di

Team everies

Da

Giappone