SmartAvatar

기능

이 앱은 라이브 스트리밍을 시청자가 YouTube 채팅을 통해 질문하고 AI 기반 아인슈타인 아바타로부터 실시간으로 답변을 받을 수 있는 양방향 환경으로 전환합니다. 이 앱은 Gemini API를 활용하여 시청자 질문에 대한 응답을 처리하고 생성합니다. 질문이 수신되면 응답을 위해 Gemini API로 전송되는 동시에 텍스트 음성 변환 서비스를 통해 오디오로 변환됩니다. 그런 다음 이 오디오는 Unity3D의 립싱크 지원 아인슈타인 아바타와 동기화되어 아인슈타인이 시청자에게 직접 말하는 것처럼 보이게 합니다. 전체 과정이 YouTube에 라이브 스트리밍되므로 시청자는 아인슈타인이 대답할 때 화면에 표시되는 질문, 이름, 사진을 볼 수 있습니다. 원활한 작동을 위해 질문이 대기열에 추가되고 순차적으로 처리되며 질문과 답변이 모두 질서 있게 관리됩니다. Gemini API를 통합하면 정확하고 시의적절한 응답을 제공하여 사용자에게 동적이고 몰입도 높은 환경을 제공할 수 있습니다.