Reimaginamos la creación de videos con Gemini 2.0 Flash
Vishal Dharmadhikari
Ingeniero de soluciones de productos
Hang Chu
Viggle
La API de Gemini no solo mejora las apps, sino que también desata una revolución en la expresión creativa. Viggle, la sensación viral de videos creados con IA que permite a cualquier persona convertir fotos en animaciones cautivadoras, está a la vanguardia de esta revolución. Al experimentar con la magia multimodal de Gemini 2.0 Flash, disponible actualmente solo en versión preliminar experimental, específicamente con su capacidad avanzada de comprensión de video y salida de audio junto con la generación de imágenes de Imagen 3, Viggle está creando funciones que permitirán a los usuarios dar vida sin esfuerzo a sus ideas más descabelladas, de formas nunca antes posibles.
Inside Viggle: Potenciamos la creación de videos con IA con Gemini 2.0 Flash y Imagen 3
Viggle ya cautivó a millones de usuarios con su capacidad de transformar fácilmente imágenes estáticas en videos animados con movimiento de cuerpo completo, lo que generó contenido viral en las plataformas de redes sociales. Con un enfoque en memes y contenido de baile, Viggle ofrece apps para dispositivos móviles (iOS y Android) y una plataforma web (viggle.ai). Las funciones como el intercambio de rostros, la animación de imágenes con movimientos de baile y la inserción de usuarios en escenas de películas ya son populares entre la base de usuarios de Viggle, y ahora están explorando nuevas formas de llevar la creatividad al siguiente nivel.
Actualmente, Viggle está creando prototipos de dos funciones que aprovechan el poder de Gemini 2.0 Flash y de Imagen 3:
Personajes de video virtuales a partir de imágenes: Viggle usa Imagen 3 para la generación de imágenes y crear una forja de personajes potenciada por IA. Los usuarios pueden proporcionar instrucciones de texto simples, como "un robot bailando con ojos brillantes" o "un dragón esponjoso de color arcoíris", y el modelo creará personajes virtuales únicos listos para protagonizar sus videos. Luego, estos personajes se integran sin problemas en el motor de animación de Viggle, lo que abre un universo de posibilidades personalizadas para contar historias. Imagina dirigir tu propio cortometraje animado protagonizado por personajes que nacieron completamente de tu imaginación. Ese es el poder que Viggle y Imagen 3 ponen en tus manos.
Narración dinámica con IA: Viggle también aprovecha la capacidad de Gemini 2.0 Flash para generar voz y su profunda comprensión de los videos para desarrollar una función que agrega voces en off enriquecidas contextualmente a cualquier video. No se trata solo de una voz monótona que lee un guion, sino de un narrador de IA que analiza el contenido del video (identifica momentos clave, acciones y hasta emociones) para generar una narración que complemente a la perfección los elementos visuales. Ya sea un comentario humorístico sobre un video de baile o una descripción épica de una escena de fantasía, el narrador de IA agrega una dimensión completamente nueva de participación.
Desbloquea nuevos niveles de creatividad y participación
La integración de la IA generativa mejorará la experiencia de Viggle de varias maneras clave:
Creación de personajes simplificada: La generación de imágenes de Imagen 3 optimiza el proceso de creación y personalización de personajes de video. Ahora los usuarios pueden generar personajes únicos basados en sus ideas, lo que elimina la necesidad de tener habilidades de diseño avanzadas o depender de opciones predeterminadas limitadas. Este flujo de trabajo simplificado permite que más usuarios hagan realidad sus visiones creativas.
Contenido más personalizado: Gemini 2.0 Flash permite a los usuarios crear narrativas de video altamente personalizadas. Los personajes diseñados a medida, combinados con la narración dinámica de IA, permiten contar historias únicas que fortalecen la conexión entre los creadores y su público.
Más posibilidades creativas: La combinación de personajes virtuales y narración con IA amplía el potencial creativo de los videos de formato corto en Viggle. Los usuarios pueden explorar nuevas formas de contar historias, más allá de los formatos de video tradicionales.
Qué trae el futuro
Viggle se complace en seguir explorando el potencial de Gemini 2.0 y los modelos de generación de imágenes para mejorar su plataforma, y prevé un futuro en el que la IA se integre sin problemas en cada paso del proceso creativo, lo que permitirá que cualquier persona se convierta en creador de videos.
"En Viggle, todos son creadores. Creamos memes, exploramos la captura de movimiento para proyectos de otro nivel y construimos nuestro propio multiverso. Con las capacidades de narración de voz realistas de Gemini 2.0 Flash, creemos que nuestros usuarios desbloquearán un nuevo potencial y crearán historias como nunca antes".
— Hang Chu, fundador de Viggle
El trabajo de Viggle con Gemini 2.0 Flash y Imagen 3 demuestra el potencial de la IA para transformar la creación de videos y brindar a los usuarios nuevas herramientas para expresarse. Esta colaboración marca un paso hacia el futuro de la narración impulsada por IA. Para obtener más información sobre cómo crear con Gemini, visita la documentación de la API de Gemini y lee más sobre Imagen 3 para conocer nuestros avances más recientes en la generación de imágenes.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Falta la información que necesito","missingTheInformationINeed","thumb-down"],["Muy complicado o demasiados pasos","tooComplicatedTooManySteps","thumb-down"],["Desactualizado","outOfDate","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Problema con las muestras o los códigos","samplesCodeIssue","thumb-down"],["Otro","otherDown","thumb-down"]],[],[],[],null,["[](/showcase) \nShare\nDEC 11, 2024 \n\nReimagining Video Creation with Gemini 2.0 Flash \nVishal Dharmadhikari\n\nProduct Solutions Engineer \nHang Chu\n\nViggle \n\nThe Gemini API is not just enhancing apps; it's sparking a revolution in creative expression. [Viggle](https://viggle.ai/), the viral AI video sensation that lets anyone turn photos into captivating animations, is at the forefront of this revolution. By experimenting with the multimodal magic of [Gemini 2.0 Flash](http://ai.google.dev/gemini-api/docs/models/gemini#gemini-2.0-flash) available currently in experimental preview only -- specifically its advanced video understanding and audio output capability alongside image generation by [Imagen 3](https://deepmind.google/technologies/imagen-3/) -- Viggle is building features that will empower users to effortlessly bring their wildest imaginings to life, in ways never before possible.\n\nInside Viggle: Powering AI Video Creation with Gemini 2.0 Flash and Imagen 3 \nViggle has already captivated millions of users with its ability to easily transform static pictures into animated videos with full-body movement, sparking viral content across social media platforms. With a focus on memes and dance content, Viggle offers mobile apps (iOS and Android) and a web platform (viggle.ai). Features like face-swapping, animating pictures with dance moves, and inserting users into movie scenes are already popular with Viggle's user base, and now they're exploring new ways to take creativity to the next level.\n\nViggle is now prototyping two features leveraging the power of Gemini 2.0 Flash and Imagen 3:\n\n- **Image-to-Virtual Video Characters:** Viggle is using Imagen 3 for image generation to create an AI-powered character forge. Users can provide simple text prompts -- \"a dancing robot with glowing eyes\" or \"a fluffy, rainbow-colored dragon\" -- and the model will conjure up unique virtual characters ready to star in their videos. These characters are then seamlessly integrated into Viggle's animation engine, opening up a universe of personalized storytelling possibilities. Imagine directing your own animated short film starring characters born entirely from your imagination -- that's the power Viggle and Imagen 3 are putting in your hands.\n\n- **Dynamic AI Narration:** Viggle is also tapping into Gemini 2.0 Flash's ability to generate speech and its deep video understanding, to develop a feature that adds contextually rich voiceovers to any video. This isn't just a monotone voice reading a script; it's an AI storyteller that analyzes the video's content -- identifying key moments, actions, and even emotions -- to generate narration that perfectly complements the visuals. Whether it's a humorous commentary on a dance video or an epic description of a fantasy scene, the AI narrator adds a whole new dimension of engagement.\n\nUnlocking New Levels of Creativity and Engagement \n\nThe integration of generative AI is poised to enhance the Viggle experience in several key ways:\n\n- **Simplified Character Creation:** Imagen 3's image generation streamlines the process of creating and customizing video characters. Users can now generate unique characters based on their ideas, removing the need for advanced design skills or reliance on limited pre-set options. This simplified workflow empowers more users to bring their creative visions to life.\n\n- **More Personalized Content:** Gemini 2.0 Flash enables users to craft highly personalized video narratives. Custom-designed characters, combined with dynamic AI narration, allow for unique storytelling that strengthens the connection between creators and their audience.\n\n- **Expanded Creative Possibilities:** The combination of virtual characters and AI narration expands the creative potential of short-form video on Viggle. Users can explore new forms of storytelling, pushing beyond traditional video formats.\n\nLooking Ahead \n\nViggle is excited to further explore the potential of Gemini 2.0 and image gen models to improve its platform and envisions a future where AI seamlessly integrates into every step of the creative process, empowering anyone to become a video creator.\n\u003e \"At Viggle, everyone's a creator. We're making memes, exploring motion capture for next-level projects, and building our own multiverse. With Gemini 2.0 Flash's lifelike voice narration capabilities, we believe our users will unlock new potential---crafting storytelling like never before.\"\n\n--- Hang Chu, Founder of Viggle\nViggle's work with Gemini 2.0 Flash and Imagen 3 demonstrates the potential of AI to transform video creation and empower users with new tools for self-expression. This collaboration marks a step toward the future of AI-powered storytelling. To learn more about building with the Gemini, visit the [Gemini API documentation](http://ai.google.dev/gemini-api) and read more about [Imagen 3](https://cloud.google.com/vertex-ai/generative-ai/docs/image/overview\") for our latest advancements in image generation. \n\nRelated case studies \n[Tldraw\nPrototyping a new natural language computing experience on an infinite canvas with Gemini 2.0](/showcase/tldraw) [Toonsutra\nLeveraging contextual multilingual translation abilities of Gemini 2.0 to make comics and webtoons accessible to audiences in India across regional languages.](/showcase/toonsutra) [Rooms\nUnlocking richer avatar interactions with Gemini 2.0 text and audio capabilities](/showcase/rooms)"]]