드림이: AI 동화

기능

Google의 최신 AI 모델인 Gemini를 사용하여 아동용 동영상 이야기를 생성하는 시스템을 만들었습니다. AI 모델은 스토리 및 이미지 프롬프트를 생성한 후 Hugging Face의 Google TPU Research Cloud를 기반으로 하는 Mini DALL-E에 전달합니다. 백엔드는 Python 3, FastAPI, Uvicorn으로 빌드됩니다. 이미지가 생성되면 Contabo에서 호스팅하는 머신에 설치된 /coqui-ai/TTS에서 동화의 텍스트를 처리하여 동영상 길이와 일치하는 WAV/MP3 파일을 생성합니다. 모든 요소가 MoviePy를 사용하여 결합되고 사용자에게 반환됩니다. 사용자는 하나 이상의 캐릭터에 관한 프롬프트를 수락하고 생성된 동영상을 반환하는 POST 엔드포인트를 통해 상호작용합니다. 생성된 동영상은 정적 파일로 저장됩니다. 백그라운드 작업은 실패하거나 동영상이 30일 이상 지난 경우 공간을 정리합니다. React Native로 빌드된 프런트엔드는 동영상 플레이어, 홈페이지의 무작위 생성 버튼, 만들기 페이지의 맞춤 생성 옵션이 있는 간단한 UI를 제공하며, 최대 2개의 문자 또는 목록에서 사전 선택된 문자를 지원합니다. 아동 또는 감독자가 사용하도록 설계된 이 앱은 현재 테스트 중이며 곧 Play 스토어에서 프로덕션 버전으로 제공될 예정입니다.