Dreamy: AI Fairy Tales

תיאור

יצרתי מערכת שמשתמשת ב-Gemini, מודל ה-AI העדכני ביותר של Google, כדי ליצור סיפורים בסרטונים לילדים. מודל ה-AI יוצר את ההנחיות ליצירת הסיפור והתמונות, ולאחר מכן מעביר אותן ל-Mini DALL-E, שמופעל על ידי Google TPU Research Cloud ב-Hugging Face. הקצה העורפי נבנה באמצעות Python 3,‏ FastAPI ו-Uvicorn. אחרי יצירת התמונות, הטקסט של הסיפור עובר עיבוד על ידי /coqui-ai/TTS, שמתקין במכונה שמתארחת ב-Contabo, כדי ליצור קובץ WAV/MP3 שמתאים לאורך הסרטון. כל הרכיבים משולבים באמצעות MoviePy ומוחזר למשתמש. המשתמשים מבצעים אינטראקציה דרך נקודת קצה מסוג POST שמקבלת הנחיות לגבי תו אחד או כמה תווים ומחזירה את הסרטונים שנוצרו, שמאוחסנים כקבצים סטטיים. משימה ברקע מפנה מקום במקרה של כשלים או אם סרטונים הם בני יותר מ-30 יום. ממשק הקצה, שנוצר באמצעות React Native, כולל ממשק משתמש פשוט עם נגן וידאו, לחצן ליצירה אקראית בדף הבית ואפשרות ליצירה בהתאמה אישית בדף היצירה, שתומכת עד בשני תווים או באחד שנבחר מראש מתוך רשימה. האפליקציה, שמיועדת לשימוש לילדים או למפקחים, נמצאת כרגע בבדיקה וצפויה להיכנס בקרוב לייצור בחנות Play.