分享

2024 年 11 月 20 日

OpusClip 通过 Gemini Flash 节省了 30% 的费用

Vito Zhu

OpusClip

Vishal Dharmadhikari

产品解决方案工程师

OpusClip 展示主图

Gemini API 让开发者能够轻松访问最新的 Gemini 模型,从而充分发挥多模态 AI 的潜力。OpusClip 是一款创新的视频内容创作平台,是这种转型能力的绝佳典范。他们利用 Gemini 对视觉、音频和文本数据的深入理解,彻底改变了创作者和企业生成富有吸引力的视频内容的方式,从而证明了尖端 AI 技术在实际应用中的实用优势。

OpusClip 内部:使用 Gemini 1.5 Flash 解锁“ClipAnything”

OpusClip 的使命是通过自动视频编辑平台,让所有人都能制作真实且个性化的视频内容,而无需具备专业技能。该平台的用户群超过 700 万,包括创作者、营销者、企业和大型媒体公司。该平台利用 AI 技术可自动从视频中提取精彩集锦、根据不同的宽高比重新构图剪辑,并通过动画字幕和 B 卷片丰富视频内容,从而制作出可在社交媒体上分享的引人入胜的内容。

OpusClip 使用 Gemini 1.5 Flash,让用户能够轻松使用自然语言生成短视频片段

OpusClip 创新的基石是其“ClipAnything” 功能,这是一种多模态 AI 剪辑工具。借助此功能,用户只需使用自然语言提示描述想要捕捉的瞬间,即可生成剪辑。Gemini 1.5 Flash 的多模态功能在此发挥着至关重要的作用,使 AI 能够通过分析视频中的视觉内容、动作、情绪、音频和对话来理解和解读这些提示。“我们利用 Gemini 1.5 Flash 提供详细的视觉描述,以增强对视频的理解。”OpusClip 的首席研究科学家 Vito Zhu 解释道。有了这种深入的理解,OpusClip 便可根据用户的提示,找出最相关、最具吸引力的时刻,从而大幅缩短视频编辑所需的时间和精力。

利用 Gemini 1.5 Flash 降低成本并提升互动度

集成 Gemini 1.5 Flash 后,OpusClip 的效率和效果显著提升。该平台在保持导出率的同时,将视频描述处理费用降低了 30%。此外,与提示相关的“ClipAnything”功能的用户互动度(点击次数)提高了 30%,导出率提高了 10%,这表明 Gemini 1.5 Flash 提高了准确性和相关性。

Vito 指出:“Gemini 1.5 Flash 简化了我们的开发流程,缩短了基于提示的功能的上市时间,并提供了高度准确的结果。”详实的文档说明的 Gemini API SDK 和可靠的支持进一步提升了他们的开发体验。

OpusClip 计划进一步优化和扩展与提示相关的功能,为用户探索高级自定义选项。他们还很高兴能够利用 Gemini 1.5 Flash 的功能,根据用户的个性化兴趣动态调整视频内容,从而实现更个性化的推荐。

Gemini API 使用入门:OpusClip 历程带来的启示

Vito 建议开发者在构建涉及视觉内容分析或时刻检索的项目时,使用 Gemini API 进行构建,并找到适合其用例的正确模型。“对我们而言,Gemini 1.5 Flash 在准确性和速度方面的表现远远超出其他解决方案,而且通过正确的设置,它还能带来很高的性价比。”他建议开发者尽早设置监控,并根据其数据集微调问题,因为 Gemini 1.5 Flash 对问题调整的响应非常灵敏。
如需开始使用 Gemini API 构建应用,请参阅我们的开发者文档