Miglior utilizzo dell'app ARCore
Everies
Scansiona gli oggetti che ti circondano e trasformali in personaggi unici, divertenti e interattivi
Descrizione
Con l'app everies, basata sulla tecnologia Gemini, gli oggetti che ti circondano prendono vita con personaggi unici, divertenti e interattivi, gli "everies". Basta scansionare gli oggetti circostanti con la fotocamera e gli occhi di tutti appariranno sugli oggetti.
Se tocchi questi occhi, viene generato un personaggio con una personalità, un aspetto, un dialogo e una voce distinti, il tutto personalizzato in base all'oggetto, all'ambiente e al contesto specifici. Puoi anche toccare qualsiasi oggetto e generare ogni carattere, anche se l'occhio non viene visualizzato inizialmente.
Ogni personaggio può partecipare a una conversazione continua tramite il tuo input vocale, migliorando l'interazione. Puoi anche salvare i tuoi everie preferiti e le tue scene memorabili.
L'unica capacità di everies di trasformare "tutto" in personaggi interattivi e divertenti è una caratteristica distintiva della tecnologia LLM, che semplifica l'esperienza e la rende più user-friendly. Il processo è automatizzato dall'API Gemini, con il rilevamento degli oggetti basato su TensorFlow Lite e la generazione di caratteri tramite file JSON. Il posizionamento degli occhi viene determinato a frequenze fotogrammi elevate utilizzando il rilevamento di oggetti sul dispositivo combinato con l'AR. ARCore fissa gli occhi e i volti dei personaggi, mentre il rilevamento ad alta frequenza frame e l'LLM multimodale (Gemini) garantiscono risposte rapide e un'esperienza di alta qualità.
Attualmente in versione beta come proof of concept, everies punta a una release formale con aggiornamenti futuri, tra cui conversazioni continue con le foto preferite e funzionalità di registrazione video.
Realizzato con
- Android
- ARCore
- TensorFlow Lite
- Modello EfficientDet per il rilevamento di oggetti
Team
Di
Eventi di gruppo
Da
Giappone