Dreamy: AI Fairy Tales

Ý nghĩa

Tôi đã tạo một hệ thống sử dụng mô hình AI mới nhất của Google, Gemini, để tạo các câu chuyện dạng video cho trẻ em. Mô hình AI tạo câu lệnh về hình ảnh và câu chuyện, sau đó chuyển đến Mini DALL-E, được cung cấp bởi Google TPU Research Cloud trên Hugging Face. Phần phụ trợ được xây dựng bằng Python 3, FastAPI và Uvicorn. Sau khi hình ảnh được tạo, văn bản của câu chuyện sẽ được xử lý bằng /coqui-ai/TTS, được cài đặt trên máy do Contabo lưu trữ, để tạo tệp WAV/MP3 khớp với thời lượng video. Tất cả các phần tử được kết hợp bằng MoviePy và trả về cho người dùng. Người dùng tương tác thông qua một điểm cuối POST chấp nhận lời nhắc cho một hoặc nhiều ký tự và trả về các video đã tạo, được lưu trữ dưới dạng tệp tĩnh. Một công việc trong nền sẽ giải phóng bộ nhớ trong trường hợp xảy ra lỗi hoặc nếu video đã cũ hơn 30 ngày. Giao diện người dùng phía trước được tạo bằng React Native, có giao diện người dùng đơn giản với trình phát video, nút tạo ngẫu nhiên trên trang chủ và tuỳ chọn tạo tuỳ chỉnh trên trang tạo, hỗ trợ tối đa 2 ký tự hoặc một ký tự được chọn trước trong danh sách. Ứng dụng này được thiết kế để trẻ em hoặc người giám sát sử dụng, hiện đang trong giai đoạn thử nghiệm và dự kiến sẽ sớm được phát hành chính thức trên Cửa hàng Play.