Dreamy: KI-Märchen

Funktion

Ich habe ein System entwickelt, mit dem das neueste KI-Modell von Google, Gemini, verwendet wird, um Videomärchen für Kinder zu generieren. Das KI-Modell erstellt die Story- und Bildvorschläge, die dann an Mini DALL-E übergeben werden, das von der Google TPU Research Cloud auf Hugging Face unterstützt wird. Das Backend wurde mit Python 3, FastAPI und Uvicorn erstellt. Nachdem die Bilder erstellt wurden, wird der Text der Geschichte von /coqui-ai/TTS verarbeitet, das auf einem von Contabo gehosteten Computer installiert ist. So wird eine WAV-/MP3-Datei generiert, die der Videolänge entspricht. Alle Elemente werden mit MoviePy kombiniert und an den Nutzer zurückgegeben. Nutzer interagieren über einen POST-Endpunkt, der Prompts für eine oder mehrere Charaktere akzeptiert und die generierten Videos zurückgibt, die als statische Dateien gespeichert werden. Ein Hintergrundjob schafft bei Fehlern oder wenn Videos älter als 30 Tage sind, Speicherplatz frei. Das Frontend, das mit React Native erstellt wurde, bietet eine einfache Benutzeroberfläche mit einem Videoplayer, einer Schaltfläche für die Zufallsgenerierung auf der Startseite und einer benutzerdefinierten Generierungsoption auf der Seite „Erstellen“. Es werden bis zu zwei Charaktere oder ein vorab ausgewählter Charakter aus einer Liste unterstützt. Die App, die für Kinder oder Erziehungsberechtigte gedacht ist, befindet sich derzeit in der Testphase und wird voraussichtlich bald im Play Store verfügbar sein.