Nov 20, 2024
OpusClip 採用 Gemini Flash 後,成本節省 30%

開發人員可透過 Gemini API 輕鬆存取最新的 Gemini 模型,充分發揮多模態 AI 的潛力。OpusClip 創新影片內容創作平台就是這項轉型功能的絕佳例子。這項工具運用 Gemini 對圖像、音訊和文字資料的進階理解能力,徹底改變創作者和企業製作引人入勝影片內容的方式,展現尖端 AI 技術在實際應用中的實用價值。
OpusClip 幕後花絮:透過 Gemini 1.5 Flash 解鎖「ClipAnything」功能
OpusClip 的使命是透過自動影片編輯平台,讓每個人都能製作真實且個人化的影片,無須具備專業技能。該平台的使用者超過 700 萬人,包括創作者、行銷人、商家和大型媒體公司。平台運用 AI 自動從影片中擷取精華片段、重新調整短片畫面比例,並加入動畫說明文字和 B-Roll,製作出適合在社群媒體上分享的精彩內容。
OpusClip 的創新核心是「ClipAnything」功能,這項多模態 AI 剪輯工具。使用者只要以自然語言提示描述想擷取的片段,即可生成短片。Gemini 1.5 Flash 的多模態功能在此扮演重要角色,可分析影片中的視覺效果、動作、情緒、音訊和對話,讓 AI 瞭解並解讀這些提示。OpusClip 首席研究科學家 Vito Zhu 表示:「我們使用 Gemini 1.5 Flash 提供詳細的視覺描述,加強對影片的理解。」這項深入瞭解功能可讓 OpusClip 根據使用者提示找出最相關且引人入勝的片段,大幅減少影片編輯所需的時間和精力。
運用 Gemini 1.5 Flash 降低成本並提升參與度
整合 Gemini 1.5 Flash 後,OpusClip 的效率和效能大幅提升。該平台在處理視覺描述時節省了 30% 的成本,同時維持匯出率。此外,與提示相關的「ClipAnything」功能的使用者參與度 (點擊次數) 增加了 30%,匯出率也提升了 10%,顯示 Gemini 1.5 Flash 提供的準確度和關聯性有所提升。
Vito 表示:「Gemini 1.5 Flash 簡化了我們的開發流程,有助於加快提示功能上市時間,並提供高度準確的結果。文件齊全的 Gemini API SDK 和可靠的支援服務,進一步提升了他們的開發體驗。
OpusClip 打算進一步改善及擴充提示相關功能,為使用者提供進階自訂選項。他們也期待運用 Gemini 1.5 Flash 的功能,根據個別使用者的興趣動態調整影片內容,提供更個人化的推薦內容。
開始使用 Gemini API:OpusClip 的歷程洞察
Vito 建議開發人員使用 Gemini API 建構專案,並根據用途選擇合適的模型,進行影像內容分析或擷取特定時刻。「對我們來說,Gemini 1.5 Flash 在準確度和速度方面的表現遠勝其他解決方案,而且只要設定得當,就能節省成本。」他建議開發人員及早設定監控功能,並根據資料集微調提示,因為 Gemini 1.5 Flash 對提示調整的反應非常靈敏。
如要開始使用 Gemini API 建構內容,請參閱開發人員說明文件。