Cách sử dụng hiệu quả nhất ứng dụng ARCore
Everies
Quét các vật thể xung quanh và biến chúng thành các nhân vật độc đáo, vui nhộn và có thể tương tác
Ý nghĩa
Với ứng dụng everies, được cung cấp bởi công nghệ Gemini, các vật thể xung quanh bạn sẽ trở nên sống động với các nhân vật "everies" độc đáo, vui nhộn và có tính tương tác. Bạn chỉ cần quét các vật thể xung quanh bằng máy ảnh, mắt của Everies sẽ xuất hiện trên các vật thể đó.
Khi nhấn vào những đôi mắt này, bạn sẽ tạo ra một nhân vật có tính cách, ngoại hình, lời thoại và giọng nói riêng biệt, tất cả đều được điều chỉnh cho phù hợp với đối tượng, môi trường và ngữ cảnh cụ thể. Bạn cũng có thể nhấn vào bất kỳ đối tượng nào và tạo mọi ký tự, ngay cả khi mắt ban đầu không xuất hiện.
Mọi nhân vật đều có thể tham gia cuộc trò chuyện liên tục thông qua tính năng nhập bằng giọng nói, giúp tăng cường khả năng tương tác. Bạn cũng có thể lưu những everies yêu thích và những cảnh đáng nhớ.
Khả năng duy nhất của everies là biến "mọi thứ" thành các nhân vật tương tác, vui nhộn là một tính năng nổi bật của công nghệ LLM, giúp đơn giản hoá trải nghiệm và giúp người dùng dễ sử dụng hơn. Quá trình này được Gemini API tự động hoá, với tính năng phát hiện đối tượng do TensorFlow Lite cung cấp và tạo nhân vật thông qua tệp JSON. Vị trí mắt được xác định ở tốc độ khung hình cao bằng cách sử dụng tính năng phát hiện đối tượng trên thiết bị kết hợp với AR. ARCore cố định mắt và khuôn mặt của nhân vật, trong khi tính năng phát hiện tốc độ khung hình cao và LLM đa phương thức (Gemini) đảm bảo phản hồi nhanh và trải nghiệm chất lượng cao.
Hiện đang ở giai đoạn thử nghiệm để chứng minh khái niệm, everies hướng đến việc phát hành chính thức với các bản cập nhật trong tương lai, bao gồm cả tính năng ghi lại video và cuộc trò chuyện liên tục với các everies yêu thích.
Được tạo bằng
- Android
- ARCore
- TensorFlow Lite
- Mô hình EfficientDet để phát hiện vật thể
Nhóm
Người cập nhật
Everies của nhóm
Từ
Nhật Bản