SmartAvatar

Ý nghĩa

Ứng dụng của chúng tôi biến sự kiện phát trực tiếp thành một trải nghiệm tương tác, trong đó người xem có thể đặt câu hỏi qua tính năng trò chuyện trên YouTube và nhận câu trả lời theo thời gian thực từ hình đại diện Einstein do AI tạo. Ứng dụng này tận dụng API Gemini để xử lý và tạo câu trả lời cho câu hỏi của khán giả. Khi nhận được câu hỏi, câu hỏi đó sẽ được gửi đến API Gemini để nhận câu trả lời, đồng thời được chuyển đổi sang âm thanh thông qua dịch vụ chuyển văn bản sang lời nói. Sau đó, âm thanh này được đồng bộ hoá với hình đại diện Einstein có tính năng đồng bộ hoá môi trong Unity3D, tạo cảm giác như Einstein đang nói trực tiếp với người xem. Toàn bộ quá trình này được phát trực tiếp trên YouTube, cho phép người xem thấy câu hỏi, tên và ảnh của họ xuất hiện trên màn hình khi Einstein trả lời. Để đảm bảo hoạt động trơn tru, các câu hỏi được xếp hàng và xử lý tuần tự, trong đó cả câu hỏi và câu trả lời đều được quản lý theo thứ tự. Việc tích hợp API Gemini là yếu tố then chốt để cung cấp phản hồi chính xác và kịp thời, giúp người dùng có trải nghiệm linh động và hấp dẫn.