Dreamy: AI Fairy Tales

Qué hace

Creé un sistema que usa el modelo de IA más reciente de Google, Gemini, para generar cuentos en video para niños. El modelo de IA crea la historia y las instrucciones de las imágenes, que luego se pasan a Mini DALL-E, potenciado por Google TPU Research Cloud en Hugging Face. El backend se compiló con Python 3, FastAPI y Uvicorn. Una vez que se crean las imágenes, /coqui-ai/TTS procesa el texto del cuento, instalado en una máquina alojada por Contabo, para generar un archivo WAV/MP3 que coincida con la duración del video. Todos los elementos se combinan con MoviePy y se muestran al usuario. Los usuarios interactúan a través de un extremo POST que acepta instrucciones para uno o varios caracteres y muestra los videos generados, que se almacenan como archivos estáticos. Una tarea en segundo plano libera espacio en caso de fallas o si los videos tienen más de 30 días. El frontend, compilado con React Native, cuenta con una IU simple con un reproductor de video, un botón de generación aleatoria en la página principal y una opción de generación personalizada en la página de creación, que admite hasta dos caracteres o uno preseleccionado de una lista. La app, diseñada para que la usen niños o supervisores, se encuentra en fase de prueba y se espera que pronto esté en producción en Play Store.