共有

2024 年 12 月 11 日

Gemini 2.0 Flash による動画制作の再構築

Vishal Dharmadhikari

プロダクト ソリューション エンジニア

ハン チュー

Viggle

Viggle ショーケースのヒーロー

Gemini API はアプリを強化するだけでなく、クリエイティブな表現に革命をもたらします。Viggle は、誰でも写真を魅力的なアニメーションに変換できる、話題の AI 動画です。この革命の最前線にいます。Viggle は、現在試験運用版でのみ提供されている Gemini 2.0 Flash のマルチモーダル マジック(特に、高度な動画理解機能と音声出力機能、Imagen 3 による画像生成)をテストすることで、ユーザーがこれまでにない方法で、自由な想像を簡単に実現できる機能を構築しています。

Viggle の内部: Gemini 2.0 Flash と Imagen 3 による AI 動画作成の強化

Viggle は、静止画像を全身アニメーション動画に簡単に変換できる機能で、すでに数百万人のユーザーを魅了し、ソーシャル メディア プラットフォームでバイラル コンテンツを巻き起こしています。ミームとダンス コンテンツに重点を置いた Viggle は、モバイルアプリ(iOS と Android)とウェブ プラットフォーム(viggle.ai)を提供しています。顔の入れ替え、ダンスの動きで写真をアニメーション化、映画のシーンにユーザーを挿入するなどの機能は、すでに Viggle のユーザーベースで人気を博しています。現在、クリエイティビティを次のレベルに引き上げる新しい方法を模索しています。

Viggle は現在、Gemini 2.0 Flash と Imagen 3 の機能を活用した 2 つの機能のプロトタイプを作成しています。


  • 画像から仮想動画キャラクター: Viggle は、Imagen 3 を使用して画像を生成することで、AI を活用したキャラクター フォージを作成しています。ユーザーは「光る目を持つ踊るロボット」や「ふわふわした虹色のドラゴン」など、シンプルなテキスト プロンプトを指定すると、モデルが動画の主役となる独自の仮想キャラクターを生成します。これらのキャラクターは Viggle のアニメーション エンジンにシームレスに統合され、パーソナライズされたストーリーテリングの世界が開かれます。自分の想像力から生まれたキャラクターを主役にしたアニメーション ショート フィルムを自分で監督できるとしたらどうでしょう。Viggle と Imagen 3 は、そんな夢を実現する力を与えてくれます。

  • 動的 AI ナレーション: Viggle は、Gemini 2.0 Flash の音声生成機能と動画の深い理解機能を利用して、コンテキストに沿った豊富なボイスオーバーを任意の動画に追加する機能を開発しています。これは単なる台本を読み上げるモノトーンの声ではなく、動画のコンテンツを分析し、重要なシーン、アクション、感情を特定して、映像を完璧に補完するナレーションを生成する AI ストーリーテラーです。ダンス動画のユーモラスなナレーションや、ファンタジー シーンの壮大な説明など、AI ナレーターはエンゲージメントにまったく新しい次元をもたらします。

創造性とエンゲージメントを新たなレベルに引き上げる

生成 AI を統合することで、Viggle のエクスペリエンスが次の重要な方法で向上します。


  • キャラクターの作成を簡素化: Imagen 3 の画像生成により、動画キャラクターの作成とカスタマイズのプロセスが効率化されます。ユーザーは、自分のアイデアに基づいて独自のキャラクターを生成できるようになりました。高度なデザインスキルや、限られた事前設定オプションに頼る必要がなくなります。この簡素化されたワークフローにより、より多くのユーザーがクリエイティブなビジョンを実現できるようになります。

  • よりパーソナライズされたコンテンツ: Gemini 2.0 Flash を使用すると、ユーザーは高度にパーソナライズされた動画ナラティブを作成できます。カスタム デザインのキャラクターと動的な AI ナレーションを組み合わせることで、クリエイターと視聴者のつながりを深めるユニークなストーリーテリングが可能になります。

  • クリエイティブの可能性の拡大: 仮想キャラクターと AI ナレーションを組み合わせることで、Viggle のショート動画のクリエイティブな可能性を広げることができます。ユーザーは、従来の動画フォーマットにとらわれず、新しい形のストーリーテリングを探求できます。

今後

Viggle は、Gemini 2.0 と画像生成モデルの可能性をさらに探求し、プラットフォームを改善したいと考えています。また、AI がクリエイティブ プロセスのすべてのステップにシームレスに統合され、誰もが動画クリエイターになれる未来を構想しています。

「Viggle では、誰もがクリエイターです。ミームの作成、次世代プロジェクト向けのモーション キャプチャの調査、独自のマルチバースの構築など、さまざまな取り組みを行っています。Gemini 2.0 Flash のリアルなナレーション機能により、ユーザーはこれまで以上にストーリーテリングを創造し、新たな可能性を切り開くことができると考えています。」

- Viggle 創設者、Hang Chu 氏

Viggle が Gemini 2.0 Flash と Imagen 3 を活用した取り組みは、動画制作を変革し、ユーザーが自己表現するための新しいツールを活用できるようにする AI の可能性を示しています。このコラボレーションは、AI を活用したストーリーテリングを未来に進める一歩となります。Gemini を使用した構築の詳細については、Gemini API のドキュメントをご覧ください。また、画像生成の最新の進歩については、Imagen 3 をご覧ください。