Toonsutra 讓漫畫栩栩如生：透過 Gemini API、Gemini 2.5 Pro 預先發布版和 Lyria 2，提供身歷其境的閱讀體驗

Toonsutra 是印度最大的網路漫畫和圖像小說平台，致力於向全球觀眾推廣網路漫畫的廣大敘事宇宙，特別著重於以印度語言提供世界一流的故事。為了加深觀眾參與度，Toonsutra 提出疑問：如何將傳統的漫畫閱讀體驗，轉變為沉浸式的電影之旅，讓聲音、音樂和故事自然地以讀者夢想的語言呈現？

這個問題成為 Toonsutra 的核心重點。社群的意見回饋指出，他們渴望更深入的互動和更廣泛的無障礙體驗。Toonsutra 意識到 AI 的巨大潛力，並獲得 Google AI Futures Fund 的支持，因此與 Google 的 Labs 和 Partner Innovation 團隊合作。他們運用 Gemini API (搭載 Gemini 2.5 Pro 預先發布版) 和 Lyria 2 (Google DeepMind 的音樂生成模型)，為全球粉絲打造全新的網路漫畫體驗。

這項合作計畫在 Google I/O 大會上揭曉，展示了 AI 輔助的漫畫體驗，讓故事不再只是靜態呈現，而是能回應和互動，將靜態圖片轉換為動態音訊敘事：

• AI 旁白可配合閱讀速度調整：Gemini 2.5 Pro 預先發布版會生成 AI 旁白，並配合閱讀速度調整，還會為角色配上不同聲音，讓角色活靈活現。這對印度讀者來說尤其重要，因為印度語言的文化細微差異非常大。Gemini 2.5 Pro 的適應性和多語言功能，搭配 Toonsutra 的專屬角色脈絡引擎，可確保故事內容連貫一致，且細膩豐富。
• 動態音景：透過 Gemini 2.5 Pro Preview 的多模態理解能力，以及 Lyria 和 Gemini 的原生音訊生成功能，平台可生成身歷其境的音景，包括客製化音樂、旁白和動作音效，例如劍的鏗鏘聲和熱鬧市場的氛圍。
• 提升互動性：讀者可以透過 Gemini 2.5 Pro 搶先版支援的元素觸發獨特的對話、探索隱藏的細節，或巧妙地影響敘事線索，確保閱讀體驗多樣化。

這項專案引進全新方法，可自動為數位漫畫生成沉浸式音訊，並同步處理空間中繼資料。這項技術的核心是建構在 Gemini 2.5 Pro 預先發布版上的多代理程式架構，包含漫畫情境擷取器、旁白、作曲家、音樂總監和音效代理程式等專門代理程式。

工作流程首先由漫畫內容擷取代理程式分析多個漫畫章節，以產生完整劇情簡介、類型和角色特徵。然後使用定義的邊界擷取面板。旁白代理程式會將轉錄稿中的對話與這些面板對齊，並透過角色背景資訊加以豐富，然後由 Gemini Native Audio 朗讀。同時，受電影配樂啟發的 Music Composer Agent 會使用 Gemini 2.5 Pro 搶先版，辨別各章節的主題和情緒，並將其轉換為 Lyria 的音樂提示，生成背景配樂。音樂總監代理程式會將這段音樂對應至特定面板，音效代理程式則會將面板對應至從資料庫擷取的相關音效標記。

這個工作流程的最終成果是 JSON 檔案，其中詳列面板座標、旁白、音效和同步音樂，並傳送至 Toonsutra 的前端。

Gemini 能夠以印地文等印度語言生成電影音訊，這項功能是 Toonsutra 邁向無障礙目標的關鍵。

Google I/O 展現了 AI 如何從根本上提升數位內容品質，是令人難以置信的里程碑。對 Toonsutra 而言，這只是第一章。

正如我們團隊經常說的：「Toonsutra 的願景向來是讓世界各地的每個人都能輕鬆閱讀引人入勝的漫畫。與 Google 合作是實現這項願景的一大進展。我們直接回應社群的意見回饋，並加速創新，打造這些採用 AI 技術的沉浸式閱讀體驗。我們很高興在 I/O 大會上獲得熱烈迴響，並期待將這項技術整合至 Toonsutra 應用程式，甚至進一步探索潛在的 API，協助其他創作者。」

Toonsutra 現在專注於將這些功能分階段整合到主要應用程式中，並密切關注社群意見回饋。他們認為自己不僅豐富了平台內容，還協助打造 AI 輔助內容的新藍圖。

準備好開始建構了嗎？歡迎參閱 Gemini API 說明文件，立即透過 Google AI Studio 著手建構各種內容。

Toonsutra 是 Google AI Futures Fund 的參與者，該基金會投資並與有抱負的新創公司合作，共同打造 AI 的未來。