Teilen

11. DEZEMBER 2024

Videoerstellung mit Gemini 2.0 Flash neu erfinden

Vishal Dharmadhikari

Product Solutions Engineer

Hang Chu

Viggle

Viggle-Anzeigen-Hero

Die Gemini API verbessert nicht nur Apps, sondern revolutioniert den kreativen Ausdruck. Viggle, die virale KI-Videosensation, mit der jeder Fotos in faszinierende Animationen verwandeln kann, ist an der Spitze dieser Revolution. Durch Experimente mit der multimodalen Magie von Gemini 2.0 Flash, das derzeit nur in der experimentellen Vorabversion verfügbar ist, insbesondere mit der erweiterten Videoerkennung und Audioausgabe sowie der Bildgenerierung von Imagen 3, entwickelt Viggle Funktionen, mit denen Nutzer ihre wildesten Vorstellungen auf bisher nie dagewesene Weise mühelos zum Leben erwecken können.

Inside Viggle: KI-gestützte Videoerstellung mit Gemini 2.0 Flash und Imagen 3

Viggle hat bereits Millionen von Nutzern begeistert, weil damit statische Bilder ganz einfach in animierte Videos mit Ganzkörperbewegungen umgewandelt werden können. So entstehen virale Inhalte auf Social-Media-Plattformen. Viggle bietet mobile Apps (iOS und Android) und eine Webplattform (viggle.ai) mit einem Schwerpunkt auf Memes und Tanzinhalten. Funktionen wie das Gesichtertauschen, das Animieren von Bildern mit Tanzbewegungen und das Einfügen von Nutzern in Filmszenen sind bei den Nutzern von Viggle bereits beliebt. Jetzt werden neue Möglichkeiten erforscht, um die Kreativität auf die nächste Stufe zu heben.

Viggle erstellt derzeit Prototypen für zwei Funktionen, die die Leistung von Gemini 2.0 Flash und Imagen 3 nutzen:


  • Bilder in virtuelle Videocharaktere umwandeln:Viggle verwendet Imagen 3 für die Bildgenerierung, um eine KI-gestützte Charakter-Forge zu erstellen. Nutzer können einfache Textvorschläge eingeben, z. B. „ein tanzender Roboter mit glühenden Augen“ oder „ein flauschiger, regenbogenfarbener Drache“. Das Modell erstellt dann einzigartige virtuelle Charaktere, die in ihren Videos die Hauptrolle spielen können. Diese Charaktere werden dann nahtlos in die Animations-Engine von Viggle eingebunden, was unzählige Möglichkeiten für personalisierte Geschichten eröffnet. Stell dir vor, du könntest deinen eigenen animierten Kurzfilm mit Charakteren drehen, die komplett aus deiner Fantasie stammen. Mit Viggle und Imagen 3 ist das möglich.

  • Dynamische KI-Erzählung:Viggle nutzt auch die Fähigkeit von Gemini 2.0 Flash, Sprache zu generieren, und sein tiefes Videoverständnis, um eine Funktion zu entwickeln, mit der jedem Video kontextreiche Voiceovers hinzugefügt werden. Dabei wird nicht einfach nur ein monotoner Text vorgelesen. Stattdessen analysiert eine KI den Inhalt des Videos, um wichtige Momente, Handlungen und sogar Emotionen zu erkennen und eine Erzählung zu generieren, die die visuellen Inhalte perfekt ergänzt. Ob ein humorvoller Kommentar zu einem Tanzvideo oder eine epische Beschreibung einer Fantasyszene – der KI-Erzähler eröffnet eine ganz neue Dimension des Engagements.

Neue Möglichkeiten für Kreativität und Interaktion

Durch die Einbindung von generativer KI wird Viggle auf verschiedene Weise verbessert:


  • Vereinfachte Charaktererstellung:Die Bildgenerierung von Imagen 3 vereinfacht das Erstellen und Anpassen von Videocharakteren. Nutzer können jetzt anhand ihrer Ideen einzigartige Charaktere erstellen, ohne dass sie fortgeschrittene Designfähigkeiten benötigen oder auf begrenzte voreingestellte Optionen angewiesen sind. Durch diesen vereinfachten Workflow können mehr Nutzer ihre kreativen Ideen umsetzen.

  • Mehr personalisierte Inhalte:Mit Gemini 2.0 Flash können Nutzer hochgradig personalisierte Videoinhalte erstellen. Benutzerdefinierte Charaktere in Kombination mit dynamischer KI-Erzählung ermöglichen einzigartiges Storytelling, das die Beziehung zwischen Creatorn und ihren Zuschauern stärkt.

  • Mehr kreative Möglichkeiten : Die Kombination aus virtuellen Charakteren und KI-Erzählungen erweitert das kreative Potenzial von Kurzvideos auf Viggle. Nutzer können neue Formen des Storytelling ausprobieren und über traditionelle Videoformate hinausgehen.

In Zukunft

Viggle freut sich darauf, das Potenzial von Gemini 2.0 und Modellen zur Bildgenerierung weiter zu erkunden, um seine Plattform zu verbessern. Das Unternehmen sieht in der Zukunft eine KI, die sich nahtlos in jeden Schritt des kreativen Prozesses integriert und es jedem ermöglicht, ein Video-Creator zu werden.

„Bei Viggle ist jeder ein Creator. Wir erstellen Memes, erkunden Motion-Capture für Projekte der nächsten Generation und bauen unser eigenes Multiversum. Mit der lebensechten Sprachausgabe von Gemini 2.0 Flash können unsere Nutzer neue Möglichkeiten entdecken und Storytelling wie nie zuvor erleben.“

– Hang Chu, Gründer von Viggle

Die Arbeit von Viggle mit Gemini 2.0 Flash und Imagen 3 zeigt das Potenzial von KI, die Videoerstellung zu revolutionieren und Nutzern neue Tools zur Selbstdarstellung an die Hand zu geben. Diese Zusammenarbeit ist ein Schritt in Richtung Zukunft des KI-gestützten Storytellings. Weitere Informationen zum Erstellen mit der Gemini API finden Sie in der Gemini API-Dokumentation. Imagen 3 bietet die neuesten Fortschritte bei der Bildgenerierung.