Reinventando a criação de vídeos com o Gemini 2.0 Flash
Vishal Dharmadhikari
Engenheiro de soluções de produtos
Hang Chu
Viggle
A API Gemini não está apenas aprimorando apps, mas também iniciando uma revolução na expressão criativa. A Viggle, a sensação viral de vídeos com IA que permite transformar fotos em animações incríveis, está na vanguarda dessa revolução. Ao testar a magia multimodal do Gemini 2.0 Flash, disponível apenas na prévia experimental, especificamente o recurso avançado de compreensão de vídeo e saída de áudio, além da geração de imagens pelo Imagen 3, o Viggle está criando recursos que vão permitir aos usuários dar vida às ideias mais incríveis de maneira fácil, de um jeito nunca antes possível.
Por dentro do Viggle: como a criação de vídeos com IA é feita com o Gemini 2.0 Flash e o Imagen 3
A Viggle já conquistou milhões de usuários com a capacidade de transformar facilmente imagens estáticas em vídeos animados com movimento de corpo inteiro, gerando conteúdo viral em plataformas de mídia social. Com foco em memes e conteúdo de dança, o Viggle oferece apps para dispositivos móveis (iOS e Android) e uma plataforma da Web (viggle.ai). Recursos como troca de rostos, animação de fotos com passos de dança e inserção de usuários em cenas de filmes já são populares entre a base de usuários do Viggle, e agora eles estão explorando novas maneiras de levar a criatividade a um novo nível.
O Viggle agora está prototipando dois recursos que aproveitam o poder do Gemini 2.0 Flash e do Imagen 3:
Personagens de vídeo virtuais com base em imagens:o Viggle usa o Imagen 3 para geração de imagens e criação de uma forja de personagens com tecnologia de IA. Os usuários podem fornecer comandos de texto simples, como "um robô dançando com olhos brilhantes" ou "um dragão fofo e colorido", e o modelo vai criar personagens virtuais únicos prontos para estrelar os vídeos. Esses personagens são integrados ao mecanismo de animação do Viggle, abrindo um universo de possibilidades de narrativa personalizada. Imagine dirigir seu próprio curta-metragem de animação com personagens criados totalmente pela sua imaginação. Esse é o poder que o Viggle e o Imagen 3 colocam nas suas mãos.
Narração dinâmica com IA:o Viggle também está aproveitando a capacidade do Gemini 2.0 Flash de gerar fala e o profundo entendimento de vídeo para desenvolver um recurso que adiciona narrações contextualmente ricas a qualquer vídeo. Não é apenas uma voz monótona lendo um roteiro. É um contador de histórias com IA que analisa o conteúdo do vídeo, identificando momentos, ações e até emoções importantes para gerar uma narração que complementa perfeitamente os recursos visuais. Seja um comentário divertido em um vídeo de dança ou uma descrição épica de uma cena de fantasia, o narrador de IA adiciona uma dimensão totalmente nova de engajamento.
Desbloqueando novos níveis de criatividade e engajamento
A integração da IA generativa vai melhorar a experiência do Viggle de várias maneiras importantes:
Criação simplificada de personagens:a geração de imagens da Imagen 3 simplifica o processo de criação e personalização de personagens de vídeo. Agora os usuários podem gerar personagens únicos com base nas ideias deles, sem precisar de habilidades avançadas de design ou depender de opções predefinidas limitadas. Esse fluxo de trabalho simplificado permite que mais usuários criem suas ideias.
Conteúdo mais personalizado:o Gemini 2.0 Flash permite que os usuários criem narrativas de vídeo altamente personalizadas. Personagens personalizados, combinados com narração dinâmica de IA, permitem uma narrativa única que fortalece a conexão entre criadores de conteúdo e público.
Mais possibilidades criativas : a combinação de personagens virtuais e narração com IA aumenta o potencial criativo dos vídeos curtos no Viggle. Os usuários podem explorar novas formas de narrativa, indo além dos formatos de vídeo tradicionais.
O que nos espera
A Viggle está animada para explorar ainda mais o potencial do Gemini 2.0 e dos modelos de geração de imagens para melhorar a plataforma. A empresa prevê um futuro em que a IA se integra perfeitamente a todas as etapas do processo criativo, permitindo que qualquer pessoa se torne um criador de vídeos.
"Na Viggle, todo mundo é criador de conteúdo. Estamos criando memes, explorando a captura de movimento para projetos de nível superior e construindo nosso próprio multiverso. Com os recursos de narração de voz realistas do Gemini 2.0 Flash, acreditamos que nossos usuários vão descobrir um novo potencial, criando histórias como nunca antes".
— Hang Chu, fundador da Viggle
O trabalho da Viggle com o Gemini 2.0 Flash e o Imagen 3 demonstra o potencial da IA para transformar a criação de vídeos e oferecer aos usuários novas ferramentas de autoexpressão. Essa colaboração marca um passo em direção ao futuro da narrativa com tecnologia de IA. Para saber mais sobre como criar com o Gemini, acesse a documentação da API Gemini e leia sobre o Imagen 3 para conhecer nossos avanços mais recentes na geração de imagens.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Não contém as informações de que eu preciso","missingTheInformationINeed","thumb-down"],["Muito complicado / etapas demais","tooComplicatedTooManySteps","thumb-down"],["Desatualizado","outOfDate","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Problema com as amostras / o código","samplesCodeIssue","thumb-down"],["Outro","otherDown","thumb-down"]],[],[],[],null,["[](/showcase) \nShare\nDEC 11, 2024 \n\nReimagining Video Creation with Gemini 2.0 Flash \nVishal Dharmadhikari\n\nProduct Solutions Engineer \nHang Chu\n\nViggle \n\nThe Gemini API is not just enhancing apps; it's sparking a revolution in creative expression. [Viggle](https://viggle.ai/), the viral AI video sensation that lets anyone turn photos into captivating animations, is at the forefront of this revolution. By experimenting with the multimodal magic of [Gemini 2.0 Flash](http://ai.google.dev/gemini-api/docs/models/gemini#gemini-2.0-flash) available currently in experimental preview only -- specifically its advanced video understanding and audio output capability alongside image generation by [Imagen 3](https://deepmind.google/technologies/imagen-3/) -- Viggle is building features that will empower users to effortlessly bring their wildest imaginings to life, in ways never before possible.\n\nInside Viggle: Powering AI Video Creation with Gemini 2.0 Flash and Imagen 3 \nViggle has already captivated millions of users with its ability to easily transform static pictures into animated videos with full-body movement, sparking viral content across social media platforms. With a focus on memes and dance content, Viggle offers mobile apps (iOS and Android) and a web platform (viggle.ai). Features like face-swapping, animating pictures with dance moves, and inserting users into movie scenes are already popular with Viggle's user base, and now they're exploring new ways to take creativity to the next level.\n\nViggle is now prototyping two features leveraging the power of Gemini 2.0 Flash and Imagen 3:\n\n- **Image-to-Virtual Video Characters:** Viggle is using Imagen 3 for image generation to create an AI-powered character forge. Users can provide simple text prompts -- \"a dancing robot with glowing eyes\" or \"a fluffy, rainbow-colored dragon\" -- and the model will conjure up unique virtual characters ready to star in their videos. These characters are then seamlessly integrated into Viggle's animation engine, opening up a universe of personalized storytelling possibilities. Imagine directing your own animated short film starring characters born entirely from your imagination -- that's the power Viggle and Imagen 3 are putting in your hands.\n\n- **Dynamic AI Narration:** Viggle is also tapping into Gemini 2.0 Flash's ability to generate speech and its deep video understanding, to develop a feature that adds contextually rich voiceovers to any video. This isn't just a monotone voice reading a script; it's an AI storyteller that analyzes the video's content -- identifying key moments, actions, and even emotions -- to generate narration that perfectly complements the visuals. Whether it's a humorous commentary on a dance video or an epic description of a fantasy scene, the AI narrator adds a whole new dimension of engagement.\n\nUnlocking New Levels of Creativity and Engagement \n\nThe integration of generative AI is poised to enhance the Viggle experience in several key ways:\n\n- **Simplified Character Creation:** Imagen 3's image generation streamlines the process of creating and customizing video characters. Users can now generate unique characters based on their ideas, removing the need for advanced design skills or reliance on limited pre-set options. This simplified workflow empowers more users to bring their creative visions to life.\n\n- **More Personalized Content:** Gemini 2.0 Flash enables users to craft highly personalized video narratives. Custom-designed characters, combined with dynamic AI narration, allow for unique storytelling that strengthens the connection between creators and their audience.\n\n- **Expanded Creative Possibilities:** The combination of virtual characters and AI narration expands the creative potential of short-form video on Viggle. Users can explore new forms of storytelling, pushing beyond traditional video formats.\n\nLooking Ahead \n\nViggle is excited to further explore the potential of Gemini 2.0 and image gen models to improve its platform and envisions a future where AI seamlessly integrates into every step of the creative process, empowering anyone to become a video creator.\n\u003e \"At Viggle, everyone's a creator. We're making memes, exploring motion capture for next-level projects, and building our own multiverse. With Gemini 2.0 Flash's lifelike voice narration capabilities, we believe our users will unlock new potential---crafting storytelling like never before.\"\n\n--- Hang Chu, Founder of Viggle\nViggle's work with Gemini 2.0 Flash and Imagen 3 demonstrates the potential of AI to transform video creation and empower users with new tools for self-expression. This collaboration marks a step toward the future of AI-powered storytelling. To learn more about building with the Gemini, visit the [Gemini API documentation](http://ai.google.dev/gemini-api) and read more about [Imagen 3](https://cloud.google.com/vertex-ai/generative-ai/docs/image/overview\") for our latest advancements in image generation. \n\nRelated case studies \n[Tldraw\nPrototyping a new natural language computing experience on an infinite canvas with Gemini 2.0](/showcase/tldraw) [Toonsutra\nLeveraging contextual multilingual translation abilities of Gemini 2.0 to make comics and webtoons accessible to audiences in India across regional languages.](/showcase/toonsutra) [Rooms\nUnlocking richer avatar interactions with Gemini 2.0 text and audio capabilities](/showcase/rooms)"]]