SmartAvatar

Działanie

Nasza aplikacja zamienia transmisje na żywo w interaktywne doświadczenie, w którym widzowie mogą zadawać pytania na czacie w YouTube i otrzymywać odpowiedzi w czasie rzeczywistym od awatara Einsteina wykorzystującego AI. Aplikacja korzysta z interfejsu Gemini API do przetwarzania i generowania odpowiedzi na pytania od odbiorców. Po otrzymaniu pytania jest ono wysyłane do interfejsu Gemini API w celu uzyskania odpowiedzi, a jednocześnie jest konwertowane na dźwięk za pomocą usługi konwersji tekstu na mowę. Następnie dźwięk jest synchronizowany z awatarem Einsteina w Unity3D, co tworzy iluzję, że Einstein mówi bezpośrednio do widzów. Cały proces jest transmitowany na żywo w YouTube, dzięki czemu widzowie mogą zobaczyć swoje pytanie, imię i nazwisko oraz zdjęcie wyświetlane na ekranie podczas udzielania odpowiedzi przez Einsteina. Aby zapewnić płynne działanie, pytania są umieszczane w kolejce i przetwarzane sekwencyjnie, a pytania i odpowiedzi są zarządzane w uporządkowany sposób. Integracja interfejsu Gemini API jest kluczowa dla zapewnienia dokładnych i terminowych odpowiedzi, co czyni rozmowę dynamiczną i ciekawą dla użytkowników.