The Blend

Działanie

Opracowaliśmy aplikację radiową, która słucha użytkownika, rozumie jego wymagania i za pomocą NLP, modeli LLM z Gemini oraz algorytmu polecającego utwory tworzy dla niego spersonalizowane wrażenia z słuchania radia.

Aplikację dla użytkowników, która komunikuje się z serwerem opracowanym za pomocą Express, opracowaliśmy w Flutterze. Ten serwer Express odpowiada za otrzymywanie promptu, jego tokenizację, generowanie spersonalizowanej mieszanki i przekazywanie jej użytkownikowi w odpowiednim czasie. Serwer Express komunikuje się z innym serwerem opracowanym przy użyciu Flask. Mikrousługa Flask obsługuje wyodrębnianie danych, generowanie skryptu dla linków za pomocą Gemini oraz nadawanie skryptowi ludzkiego charakteru za pomocą Eleven Labs TTS. Oba serwery korzystają z tej samej bazy danych MongoDB.

Gemini używa wyodrębnionych danych i kilku innych parametrów, takich jak pora dnia i nastrój, do wygenerowania skryptu dla linku, który powinien być odczytany przez RJ. Następnie skrypt jest wysyłany do interfejsu Eleven Labs TTS API w celu wygenerowania danych głosowych. Dane głosowe są przetwarzane w celu utworzenia ostatecznego linku dostosowanego do użytkownika.