Cartwheel 使用 Gemini API 改进了角色动画

Cartwheel 处于新一代动画技术的前沿，提供了一个平台，用户可以在其中使用自然语言输入（例如，“跳跃”“莎莎舞旋转”）直接角色动作。这项创新技术可改进创作者为视频、游戏、广告和社交媒体制作动画的方式。Cartwheel 集成了 Imagen 3，可实现直观的文字转角色设计，并利用 Gemini 2.5 Pro 预览版开发复杂的动画专用算法、探索复杂的代码库并加速平台优化，从而帮助用户拓展创意故事讲述能力。

开发先进的动画平台不仅需要用户友好的设计工具，还需要在后端算法和高效的代码库管理方面不断创新。Cartwheel 面临着以下挑战：快速设计原型并实现复杂的动画功能、优化其庞大的代码库以提高性能，以及让开发者快速了解大型系统并为其做出贡献。他们需要一个强大的 AI 合作伙伴来助力开发工作。

Cartwheel 使用 Gemini API 改进其面向用户的创作流水线，并协助其内部开发流程。

• 借助 Imagen 3 实现 AI 驱动的角色概念化：Cartwheel 集成了 Imagen 3 的文本转图片功能，让创作者能够使用文本提示直接在平台内构思和生成独特的角色视觉效果。这些自定义设计的角色可以使用自然语言进行动画处理，然后导出为完全绑定且可用于 Maya 或 Blender 等行业标准 3D 编辑软件的角色，从而集成到专业制作环境中。
• 利用 Gemini 2.5 Pro 预览版协助研发和优化：Cartwheel 团队在内部使用 Gemini 2.5 Pro 预览版来支持其工程和研究工作流程：
  • 开发算法：使用 Gemini 2.5 Pro 预览版来帮助开发动画专用功能，包括用于数据合成的运动模糊算法、用于混合的拉普拉斯金字塔，以及用于在编辑器中摆姿势的自动 IK（反向运动学）。
  • 代码探索和调试：该团队使用 Gemini 2.5 Pro 预览版探索复杂的代码库，为新实验生成创意，并协助高效调试边缘情况，例如复杂的相机旋转错误。
  • 利用长上下文进行代码库操作：Gemini 2.5 Pro 预览版的长上下文功能用于操作 Cartwheel 的整个代码库。这样一来，开发者就可以将新代码库（例如前端）纳入上下文，以便添加功能或提出有关系统架构和功能的高级问题。

通过使用 Gemini 2.5 Pro 预览版来辅助算法开发、代码探索和调试，Cartwheel 旨在改进其开发流程并加快平台优化。Imagen 3 的集成为用户提供了一种通过文本生成角色视觉效果的简化方式，而 Gemini 2.5 Pro 预览版则可作为一种工具，帮助开发者构建底层技术。这些集成有助于实现 Cartwheel 的目标，即让动画工作流程更快、更易于使用，从而实现以下用途：

• 加快游戏和视频的素材资源创建速度，让团队专注于核心设计。
• 有助于高效生成营销和社交媒体内容。

Cartwheel 集成了 Imagen 3 和 Gemini 2.5 Pro 预览版，这充分展示了 Google AI 如何应用于实现面向用户的新功能，以及如何协助完成构建下一代工具所需的复杂开发工作。

探索 Gemini API 文档，了解 Imagen 3，并在 Google AI Studio 中开始使用。

Cartwheel 是 Google 的 AI Futures Fund 的参与者，该基金会投资于有远见的初创公司，并与这些公司合作，共同打造 AI 领域的未来。