分享

2024 年 11 月 20 日

OpusClip 通过 Gemini Flash 节省了 30% 的费用

Vito Zhu

OpusClip

Vishal Dharmadhikari

产品解决方案工程师

OpusClip 精选案例主图

Gemini API 可让开发者轻松访问最新的 Gemini 模型,从而充分发挥多模态 AI 的潜力。OpusClip 是一款创新的视频内容创作平台,是这种变革性功能的绝佳示例。这些工具利用 Gemini 对视觉、音频和文本数据的高级理解能力,彻底改变了创作者和企业生成富有吸引力的视频内容的方式,展示了尖端 AI 在实际应用中的实际优势。

OpusClip 内部:利用 Gemini 1.5 Flash 解锁“ClipAnything”功能

OpusClip 的使命是让每个人都能在无需专业技能的情况下制作视频内容,通过自动视频编辑平台制作真实且个性化的视频。该平台的用户群超过 700 万,包括创作者、营销者、企业和大型媒体公司。该平台利用 AI 自动从视频中提取精彩片段,将片段重新调整为各种宽高比,并使用动画字幕和 B 卷丰富片段内容,从而制作出引人入胜的内容,可随时分享到社交媒体。

OpusClip 使用 Gemini 1.5 Flash,让用户能够轻松使用自然语言生成短视频

OpusClip 创新的基石是其 “ClipAnything” 功能,这是一款多模态 AI 剪辑工具。借助此功能,用户只需使用自然语言提示描述想要捕捉的瞬间,即可生成剪辑。Gemini 1.5 Flash 的多模态功能在此处发挥着至关重要的作用,使 AI 能够通过分析视频中的视觉元素、动作、情绪、音频和对话来理解和解读这些提示。OpusClip 的首席研究科学家 Vito Zhu 解释说:“我们利用 Gemini 1.5 Flash 提供详细的视觉描述,以增强视频理解能力。”凭借这种深入的理解,OpusClip 能够根据用户提示识别最相关且最吸引人的片段,从而大幅减少视频编辑所需的时间和精力。

利用 Gemini 1.5 Flash 降低成本并提高互动度

Gemini 1.5 Flash 的集成显著提高了 OpusClip 的效率和效果。该平台在视觉描述处理方面节省了 30% 的成本,同时保持了导出率。此外,与提示相关的“ClipAnything”功能的用户互动度(点击次数)提高了 30%,导出率提高了 10%,这表明 Gemini 1.5 Flash 提供的准确性和相关性有所提升。

Vito 表示:“Gemini 1.5 Flash 简化了我们的开发流程,缩短了基于提示的功能的上市时间,并提供了高度准确的结果。”完善的 Gemini API SDK 文档和可靠的支持进一步提升了他们的开发体验。

OpusClip 计划进一步完善和扩展其提示相关功能,为用户探索高级自定义选项。他们还很高兴能够利用 Gemini 1.5 Flash 的功能,根据个人用户兴趣动态调整视频内容,从而实现更个性化的推荐。

Gemini API 使用入门:OpusClip 的经验分享

对于正在构建涉及视觉内容分析或精彩瞬间检索项目的开发者,Vito 的建议是使用 Gemini API 进行构建,并找到适合其用例的正确模型。“对我们而言,Gemini 1.5 Flash 在准确性和速度方面的表现远超其他解决方案,而且在设置得当的情况下,它还具有成本效益。”他建议开发者尽早设置监控,并根据自己的数据集微调提示,因为 Gemini 1.5 Flash 对提示调整的响应非常灵敏。
如需开始使用 Gemini API 构建应用,请参阅我们的开发者文档