Utiliser au mieux l'application ARCore

Everies

Scannez les objets qui vous entourent et transformez-les en personnages uniques, ludiques et interactifs.

Description

L'application everies, basée sur la technologie Gemini, donne vie aux objets qui vous entourent grâce à des personnages uniques, ludiques et interactifs appelés "everies". Il vous suffit de balayer les objets qui vous entourent avec l'appareil photo pour que les yeux de tout le monde s'affichent dessus.
Appuyer sur ces yeux génère un personnage avec une personnalité, une apparence, un dialogue et une voix distincts, tous adaptés à l'objet, à l'environnement et au contexte spécifiques. Vous pouvez également appuyer sur n'importe quel objet et générer tous les caractères, même si l'œil ne s'affiche pas au départ.
Chaque personnage peut engager une conversation continue grâce à votre saisie vocale, ce qui améliore l'interaction. Vous pouvez également enregistrer vos everies préférés et vos scènes mémorables.

La capacité unique d'everies à transformer "tout" en personnages interactifs et ludiques est une caractéristique remarquable de la technologie LLM, qui simplifie l'expérience et la rend plus conviviale. Le processus est automatisé par l'API Gemini, avec la détection d'objets optimisée par TensorFlow Lite et la génération de caractères via des fichiers JSON. Le positionnement des yeux est déterminé à un débit d'images élevé à l'aide de la détection d'objets sur l'appareil combinée à la RA. ARCore ancre les yeux et les visages des personnages, tandis que la détection à haute fréquence d'images et le LLM multimodal (Gemini) garantissent des réponses rapides et une expérience de haute qualité.

Actuellement en version bêta à titre de preuve de concept, everies vise une version officielle avec de futures mises à jour, y compris des conversations continues avec les everies préférés et des fonctionnalités d'enregistrement vidéo.

Conçu avec

  • Android
  • ARCore
  • TensorFlow Lite
  • Modèle EfficientDet pour la détection d'objets

Équipe

Par

Événements d'équipe

De

Japon