everies

Công nghệ AR biến các vật thể xung quanh thành nhân vật tương tác.

Ý nghĩa

Với ứng dụng everies, được hỗ trợ bởi công nghệ Gemini, các vật thể xung quanh bạn sẽ trở nên sống động qua những nhân vật độc đáo, vui nhộn và có tính tương tác. Bạn chỉ cần dùng máy ảnh quét để quét các vật thể xung quanh và mắt của Everest sẽ quan sát các vật thể đó.
Việc chạm vào đôi mắt này sẽ tạo ra một nhân vật có tính cách, diện mạo, lời thoại và giọng nói riêng biệt, tất cả đều phù hợp với đối tượng, môi trường và bối cảnh cụ thể. Bạn cũng có thể nhấn vào bất kỳ vật thể nào để tạo nhân vật everies, ngay cả khi ban đầu con mắt đó không xuất hiện.
Mọi nhân vật đều có thể tham gia cuộc trò chuyện liên tục thông qua tính năng nhập bằng giọng nói, giúp tăng cường khả năng tương tác. Bạn cũng có thể lưu những cảnh đáng nhớ và những bộ phim mà mình yêu thích.

Khả năng duy nhất của từng người là biến "mọi thứ" thành các nhân vật tương tác, vui nhộn là một tính năng nổi bật của công nghệ LLM, giúp đơn giản hoá trải nghiệm và làm cho trải nghiệm thân thiện hơn với người dùng. Quá trình này được tự động hoá bằng Gemini API, trong đó tính năng phát hiện đối tượng dựa trên TensorFlow Lite và tạo ký tự thông qua tệp JSON. Vị trí của mắt được xác định ở tốc độ khung hình cao bằng tính năng phát hiện vật thể trên thiết bị kết hợp với công nghệ thực tế tăng cường (AR). ARCore neo các nhân vật mắt và khuôn mặt, trong khi tính năng phát hiện tốc độ khung hình cao và LLM đa phương thức (Gemini) giúp đảm bảo tạo ra phản hồi nhanh và mang lại trải nghiệm chất lượng cao.

Chúng tôi hiện đang ở giai đoạn thử nghiệm beta làm bằng chứng về ý tưởng, và everies sẽ ra mắt một bản phát hành chính thức kèm theo các bản cập nhật trong tương lai, trong đó có các cuộc trò chuyện liên tục với các tính năng quay video và everies được yêu thích.

Được tạo bằng

  • Android
  • ARCore
  • TensorFlow Lite
  • Mô hình EfficientDet để phát hiện đối tượng

Nhóm

Người cập nhật

Everies của nhóm

Từ

Nhật Bản