Dreamy: AI Fairy Tales

O que faz?

Criei um sistema que usa o Gemini, o modelo de IA mais recente do Google, para gerar contos em vídeo para crianças. O modelo de IA cria as instruções de história e imagem, que são transmitidas para o Mini DALL-E, com tecnologia do Google TPU Research Cloud no Hugging Face. O back-end foi criado com Python 3, FastAPI e Uvicorn. Depois que as imagens são criadas, o texto da história é processado pelo /coqui-ai/TTS, instalado em uma máquina hospedada pela Contabo, para gerar um arquivo WAV/MP3 que corresponda à duração do vídeo. Todos os elementos são combinados usando o MoviePy e retornados ao usuário. Os usuários interagem por um endpoint POST que aceita comandos para um ou vários personagens e retorna os vídeos gerados, que são armazenados como arquivos estáticos. Um job em segundo plano libera espaço em caso de falhas ou se os vídeos tiverem mais de 30 dias. O front-end, criado com o React Native, tem uma interface simples com um player de vídeo, um botão de geração aleatória na página inicial e uma opção de geração personalizada na página de criação, com suporte para até dois caracteres ou um pré-selecionado de uma lista. O app, projetado para uso por crianças ou supervisores, está em fase de testes e deve ser lançado em breve na Play Store.