Dreamy: AI Fairy Tales

Działanie

Utworzyłem system, który wykorzystuje najnowszy model AI od Google, Gemini, do generowania filmów z opowiadaniami dla dzieci. Model AI tworzy prompty dotyczące historii i obrazu, które są następnie przekazywane do Mini DALL-E, korzystającego z Google TPU Research Cloud na Hugging Face. Backend jest tworzony za pomocą Pythona 3, FastAPI i Uvicorn. Po utworzeniu obrazów tekst opowieści jest przetwarzany przez /coqui-ai/TTS, zainstalowany na maszynie hostowanej przez firmę Contabo, aby wygenerować plik WAV/MP3 o długości odpowiadającej długości filmu. Wszystkie elementy są łączone za pomocą MoviePy i zwracane użytkownikowi. Użytkownicy wchodzą w interakcję za pomocą punktu końcowego POST, który akceptuje prompty dotyczące jednego lub wielu znaków i zwraca wygenerowane filmy, które są przechowywane jako pliki statyczne. Zadaniem wykonywanym w tle jest zwolnienie miejsca w przypadku awarii lub jeśli filmy mają więcej niż 30 dni. Frontend został stworzony za pomocą React Native i obsługuje proste UI z odtwarzaczem, przyciskiem losowej generacji na stronie głównej oraz opcją niestandardowej generacji na stronie tworzenia, która obsługuje do 2 postaci lub wstępnie wybraną postać z listy. Aplikacja, która została zaprojektowana z myślą o dzieciach i opiekunach, jest obecnie testowana i wkrótce ma trafić do Sklepu Play.