Dreamy: AI おとぎ話

機能

私は、Google の最新の AI モデルである Gemini を使用して、子ども向けの動画物語を生成するシステムを作成しました。AI モデルがストーリーと画像プロンプトを作成し、Hugging Face の Google TPU Research Cloud を基盤とする Mini DALL-E に渡します。バックエンドは、Python 3、FastAPI、Uvicorn で構築されています。画像が作成されると、Contabo がホストするマシンにインストールされている /coqui-ai/TTS によって物語のテキストが処理され、動画の長さに一致する WAV/MP3 ファイルが生成されます。すべての要素は MoviePy を使用して結合され、ユーザーに返されます。ユーザーは POST エンドポイントを介して操作します。このエンドポイントは、1 文字または複数の文字のプロンプトを受け入れ、生成された動画を返します。生成された動画は静的ファイルとして保存されます。バックグラウンド ジョブは、エラーが発生した場合や、動画が 30 日以上経過している場合に空き容量を解放します。React Native で構築されたフロントエンドは、動画プレーヤー、ホームページのランダム生成ボタン、作成ページのカスタム生成オプションを備えたシンプルな UI を備えており、最大 2 文字またはリストから事前選択された文字をサポートしています。このアプリは、お子様や監督者向けに設計されており、現在テスト中です。まもなく Google Play ストアで製品版として提供される予定です。