Сканируйте окружающие вас предметы и превращайте их в уникальных, игривых, интерактивных персонажей.
Что он делает
С приложением everies, работающим на основе технологии Gemini, ваши окружающие предметы оживают с уникальными, игривыми, интерактивными персонажами «everies». Просто просканируйте окружающие предметы камерой, и глаза everies появятся на предметах. Нажатие на эти глаза генерирует персонажа с особой личностью, внешностью, диалогами и голосом, все это подогнано под конкретный объект, среду и контекст. Вы также можете нажать на любой объект и сгенерировать любого персонажа, даже если глаз изначально не появляется. Каждый персонаж может участвовать в непрерывном разговоре через ваш голосовой ввод, улучшая взаимодействие. Вы также можете сохранять ваши любимые эпизоды и памятные сцены.
Уникальная способность everies превращать «все» в интерактивных, игривых персонажей является выдающейся особенностью технологии LLM, упрощая опыт и делая его более удобным для пользователя. Процесс автоматизирован API Gemini, с обнаружением объектов на базе TensorFlow Lite и генерацией персонажей через файлы JSON. Позиционирование глаз определяется с высокой частотой кадров с использованием обнаружения объектов на устройстве в сочетании с AR. ARCore закрепляет глаза и лица персонажей, в то время как обнаружение с высокой частотой кадров и многомодальный LLM (Gemini) обеспечивают быструю реакцию и высококачественный опыт.
В настоящее время Everyes находится на стадии бета-тестирования в качестве доказательства концепции, однако планируется его официальный релиз с будущими обновлениями, включающими непрерывные разговоры с любимыми Everyes и функции записи видео.
Построено с
андроид
ARCore
TensorFlow Lite
Модель EfficientDet для обнаружения объектов
Команда
К
Команда каждый
От
Япония
Еще победители
ViddyScribe
Лучшее веб-приложение
Проспера
Самое полезное приложение / Лучшее приложение Flutter
[[["Прост для понимания","easyToUnderstand","thumb-up"],["Помог мне решить мою проблему","solvedMyProblem","thumb-up"],["Другое","otherUp","thumb-up"]],[["Отсутствует нужная мне информация","missingTheInformationINeed","thumb-down"],["Слишком сложен/слишком много шагов","tooComplicatedTooManySteps","thumb-down"],["Устарел","outOfDate","thumb-down"],["Проблема с переводом текста","translationIssue","thumb-down"],["Проблемы образцов/кода","samplesCodeIssue","thumb-down"],["Другое","otherDown","thumb-down"]],[],[],[],null,["# Everies\n\n[See all winners](/competition#w-5) \nBest use of ARCore app \n\nEveries\n=======\n\nScan your surrounding objects and transform them into unique, playful, interactive characters \nWhat it does\n\nWith the everies app, powered by Gemini technology, your surrounding objects come to life with unique, playful, interactive characters \"everies.\" Simply scan your surrounding objects with your camera, and everies's eyes will appear on the objects. \nTapping on these eyes generates a character with a distinct personality, appearance, dialogue, and voice, all tailored to the specific object, environment, and context. You can also tap on any object and generate everies character, even if the eye doesn't initially appear. \nEvery character can engage in continuous conversation through your voice input, enhancing the interaction. You can also save your favorite everies and your memorable scenes. \n\neveries's one-and-only ability to turn 'everything' into interactive, playful characters is a standout feature of LLM technology, simplifying the experience and making it more user-friendly. The process is automated by the Gemini API, with object detection powered by TensorFlow Lite and character generation through JSON files. Eye positioning is determined at high frame rates using on-device object detection combined with AR. ARCore anchors the characters' eyes and faces, while high-frame-rate detection and the multi-modal LLM (Gemini) ensure fast responses and a high-quality experience. \n\nCurrently in beta as a proof of concept, everies aims for a formal release with future updates, including continuous conversations with favorite everies and video recording features. \nBuilt with\n\n- Android\n- ARCore\n- TensorFlow Lite\n- EfficientDet model for Object Detection \nTeam \nBy\n\nTeam everies \nFrom\n\nJapan \nMore winners \n[ViddyScribe\nBest Web app](/competition/projects/viddyscribe) [Prospera\nMost Useful app / Best Flutter app](/competition/projects/prospera) \n[](/competition)"]]