Dreamy: AI Fairy Tales

Działanie

Utworzyłem system, który wykorzystuje najnowszy model AI od Google, Gemini, do generowania filmów z opowiadaniami dla dzieci. Model AI tworzy prompty dotyczące historii i obrazu, które są następnie przekazywane do Mini DALL-E, korzystającego z Google TPU Research Cloud na Hugging Face. Backend jest zbudowany z wykorzystaniem Pythona 3, FastAPI i Uvicorn. Po utworzeniu obrazów tekst opowieści jest przetwarzany przez usługę /coqui-ai/TTS zainstalowaną na maszynie hostowanej przez firmę Contabo. W ten sposób generowany jest plik WAV/MP3 o długości odpowiadającej długości filmu. Wszystkie elementy są łączone za pomocą MoviePy i zwracane użytkownikowi. Użytkownicy wchodzą w interakcję za pomocą punktu końcowego POST, który akceptuje prompty dotyczące jednego lub wielu znaków i zwraca wygenerowane filmy, które są przechowywane jako pliki statyczne. Proces w tle usuwa miejsce w przypadku awarii lub jeśli filmy mają więcej niż 30 dni. Frontend został stworzony za pomocą React Native i ma proste UI z odtwarzaczem, przyciskiem losowego generowania na stronie głównej oraz opcją niestandardowego generowania na stronie tworzenia, która obsługuje do 2 postaci lub wstępnie wybraną postać z listy. Aplikacja, która została zaprojektowana z myślą o dzieciach i opiekunach, jest obecnie testowana i wkrótce ma trafić do Sklepu Play.