Najlepsze wykorzystanie aplikacji ARCore
Everies
Skanuj otaczające Cię obiekty i przekształcaj je w niezwykłe, zabawne i interaktywne postacie.
Zastosowanie
Dzięki aplikacji everies, która korzysta z technologii Gemini, obiekty wokół Ciebie ożywają dzięki wyjątkowym, zabawnym i interaktywnym postaciom „everies”. Wystarczy zeskanować aparatem obiekty w okolicy, a na ich powierzchni pojawią się oczy.
Kliknięcie oczu powoduje wygenerowanie postaci z wyróżniającą się osobowością, wyglądem, dialogiem i głosem, które są dopasowane do konkretnego obiektu, środowiska i kontekstu. Możesz też kliknąć dowolny obiekt i wygenerować postać Everies, nawet jeśli oko nie jest widoczne.
Każda postać może prowadzić ciągłą rozmowę dzięki Twojemu głosowemu wejściu, co zwiększa interaktywność. Możesz też zapisać ulubione everies i wyjątkowe sceny.
Wyjątkowa funkcja everies polegająca na przekształcaniu „wszystkiego” w interaktywne, zabawne postaci jest wyróżniającą cechą technologii LLM, która upraszcza korzystanie z aplikacji i czyni ją bardziej przyjazną dla użytkownika. Proces jest zautomatyzowany dzięki interfejsowi Gemini API, który umożliwia wykrywanie obiektów za pomocą TensorFlow Lite i generowanie znaków za pomocą plików JSON. Pozycjonowanie oczu jest określane przy wysokich częstotliwościach klatek za pomocą wykrywania obiektów na urządzeniu w połączeniu z AR. ARCore ustala pozycję oczu i twarzy postaci, a wykrywanie z wysoką częstotliwością klatek i wielomodalny model LLM (Gemini) zapewniają szybkie działanie i wysoką jakość.
Obecnie funkcja everies jest w wersji beta, co oznacza, że jest to wersja koncepcyjna. Planujemy oficjalne wydanie z kolejnoscią aktualizacji, w tym z funkcjami umożliwiającymi prowadzenie ciągłych rozmów z ulubionymi postaciami i nagrywanie filmów.
Wybudowane za pomocą
- Android
- ARCore
- TensorFlow Lite
- Model EfficientDet do wykrywania obiektów
Zespół
Autor:
Everies zespołu
Z
Japonia