Мечтательный: Сказки ИИ

Что он делает

Я создал систему, которая использует новейшую модель искусственного интеллекта от Google, Gemini, для создания видеосказок для детей. Модель искусственного интеллекта создает истории и подсказки изображений, которые затем передаются в Mini DALL-E, работающий на базе Google TPU Research Cloud на Hugging Face. Бэкэнд создан с использованием Python 3, FastAPI и Uvicorn. После создания изображений текст сказки обрабатывается /coqui-ai/TTS, установленным на машине, размещенной Contabo, для создания файла WAV/MP3, соответствующего продолжительности видео. Все элементы объединяются с помощью MoviePy и возвращаются пользователю. Пользователи взаимодействуют через конечную точку POST, которая принимает подсказки для одного или нескольких персонажей и возвращает сгенерированные видео, которые хранятся в виде статических файлов. Фоновое задание очищает место в случае сбоев или если видео старше 30 дней. Фронтенд, созданный с помощью React Native, имеет простой пользовательский интерфейс с видеоплеером, кнопкой случайной генерации на домашней странице и опцией пользовательской генерации на странице создания, поддерживающей до двух персонажей или одного предварительно выбранного из списка. Приложение, предназначенное для использования детьми или руководителями, в настоящее время проходит тестирование и, как ожидается, скоро будет запущено в производство в Play Store.