2024 年 10 月 30 日
使用 Gemini API 将 AI 智能体投入生产
构建和部署 AI 代理是一项令人兴奋的前沿技术，但在生产环境中管理这些复杂系统需要强大的可观测性。AgentOps 是一款用于代理监控、LLM 费用跟踪、基准测试等的 Python SDK，可帮助开发者将代理从原型阶段推进到生产阶段，尤其是在与强大且经济高效的 Gemini API 搭配使用时。
Gemini 的优势
AgentOps 背后的团队 Agency AI 的首席运营官 Adam Silverman 表示，对于大规模部署 AI 客服人员的企业而言，成本是一项关键因素。“我们发现，企业每月在 LLM 通话上花费 8 万美元。使用 Gemini 1.5 时，同样的输出需要花费数千美元。”
这种经济高效性，再加上 Gemini 强大的语言理解和生成功能，使其成为开发者构建复杂 AI 代理的理想之选。“Gemini 1.5 Flash 的质量与更大的模型相当，但成本却不到其一小部分，速度也非常快。”Silverman 说。这样一来，开发者就可以专注于构建复杂的多步骤客服工作流，而不必担心费用失控。
我们发现，使用其他 LLM 提供商运行单个代理的费用每次运行高达 500 美元以上。使用 Gemini (1.5 Flash-8B) 运行相同的任务，费用不到 50 美元。”
为 AI 客服提供支持
AgentOps 会捕获有关每个代理互动（而不仅仅是 LLM 调用）的数据，从而全面了解多代理系统的运作方式。这种精细级别的详细信息对工程团队和合规团队至关重要，可为调试、优化和审核轨迹提供关键洞见。
将 Gemini 模型与 AgentOps 集成非常简单，使用 LiteLLM 通常只需几分钟。开发者可以快速了解其 Gemini API 调用，实时跟踪费用，并确保其代理在生产环境中的可靠性。
展望未来
AgentOps 致力于在客服人员开发者扩展项目时为其提供支持。Agency AI 可帮助企业应对构建价格实惠且可伸缩的智能客服的复杂性，进一步巩固将 AgentOps 与 Gemini API 相结合的价值主张。正如 Silverman 所强调的那样，“这正在吸引更多注重价格的开发者构建代理”。
对于考虑使用 Gemini 的开发者，Silverman 的建议很明确：“试一试，您会感到惊喜。”
