Dreamy: AI Fairy Tales

การทำงาน

เราได้สร้างระบบที่ใช้โมเดล AI ล่าสุดของ Google อย่าง Gemini เพื่อสร้างนิทานแบบวิดีโอสำหรับเด็ก โมเดล AI จะสร้างเรื่องราวและพรอมต์รูปภาพ จากนั้นส่งไปยัง Mini DALL-E ที่ทำงานด้วย Google TPU Research Cloud ใน Hugging Face แบ็กเอนด์สร้างขึ้นด้วย Python 3, FastAPI และ Uvicorn เมื่อสร้างรูปภาพแล้ว ข้อความของนิทานจะได้รับการจัดการโดย /coqui-ai/TTS ซึ่งติดตั้งในเครื่องที่โฮสต์โดย Contabo เพื่อสร้างไฟล์ WAV/MP3 ที่ตรงกับความยาวของวิดีโอ ระบบจะรวมองค์ประกอบทั้งหมดโดยใช้ MoviePy และแสดงผลต่อผู้ใช้ ผู้ใช้โต้ตอบผ่านปลายทาง POST ที่ยอมรับพรอมต์สำหรับอักขระ 1 ตัวหรือหลายตัว และแสดงผลวิดีโอที่สร้างขึ้นซึ่งจัดเก็บเป็นไฟล์แบบคงที่ งานเบื้องหลังจะล้างพื้นที่ในกรณีที่ดำเนินการไม่สำเร็จหรือวิดีโอมีอายุมากกว่า 30 วัน ฟีดหน้าเว็บที่สร้างขึ้นด้วย React Native มี UI ที่เรียบง่ายพร้อมโปรแกรมเล่นวิดีโอ ปุ่มสร้างแบบสุ่มในหน้าแรก และตัวเลือกการสร้างที่กำหนดเองในหน้าสร้าง ซึ่งรองรับตัวละครได้สูงสุด 2 ตัวหรือตัวละครที่เลือกไว้ล่วงหน้าจากรายการ แอปที่ออกแบบมาเพื่อการใช้งานโดยเด็กหรือผู้ดูแลกำลังอยู่ระหว่างการทดสอบและคาดว่าจะพร้อมให้บริการใน Play Store เร็วๆ นี้