Cómo llevar los agentes de IA a producción con la API de Gemini
Vishal Dharmadhikari
Ingeniero de soluciones de productos
Paige Bailey
Ingeniera de experiencia del desarrollador de IA
Adam Silverman
COO, Agency AI
Crear e implementar agentes de IA es un campo emocionante, pero administrar estos sistemas complejos en un entorno de producción requiere una observabilidad sólida. AgentOps, un SDK de Python para la supervisión de agentes, el seguimiento de costos de LLM, la evaluación comparativa y mucho más, permite a los desarrolladores llevar sus agentes del prototipo a la producción, en especial cuando se combina con la potencia y la rentabilidad de la API de Gemini.
Las ventajas de Gemini
Adam Silverman, director de operaciones de Agency AI, el equipo detrás de AgentOps, explica que el costo es un factor fundamental para las empresas que implementan agentes de IA a gran escala. "Hemos visto empresas que gastan USD 80,000 por mes en llamadas a LLM. Con Gemini 1.5, habría costado unos miles de dólares para el mismo resultado".
Esta rentabilidad, combinada con las potentes capacidades de comprensión y generación de lenguaje de Gemini, lo convierten en una opción ideal para los desarrolladores que crean agentes de IA sofisticados. "Gemini 1.5 Flash nos brinda una calidad comparable a la de los modelos más grandes, a una fracción del costo y con una velocidad increíble", afirma Silverman. Esto permite que los desarrolladores se enfoquen en crear flujos de trabajo de agentes complejos de varios pasos sin preocuparse por los costos descontrolados.
"Hemos visto que las ejecuciones de agentes individuales con otros proveedores de LLM cuestan más de USD 500 por ejecución. Estas mismas ejecuciones con Gemini (1.5 Flash-8B) cuestan menos de USD 50".
— Adam Silverman, director de Operaciones, Agency AI
Potencia los agentes de IA
AgentOps captura datos sobre cada interacción del agente, no solo las llamadas a LLM, lo que proporciona una vista integral de cómo operan los sistemas multiagente. Este nivel de detalle granular es esencial para los equipos de ingeniería y cumplimiento, ya que ofrece estadísticas cruciales para la depuración, la optimización y los registros de auditoría.
Integrar modelos de Gemini con AgentOps es muy sencillo y, a menudo, solo lleva unos minutos con LiteLLM. Los desarrolladores pueden obtener rápidamente visibilidad de sus llamadas a la API de Gemini, hacer un seguimiento de los costos en tiempo real y garantizar la confiabilidad de sus agentes en producción.
Con la mirada puesta en el futuro
AgentOps se compromete a brindar asistencia a los desarrolladores de agentes a medida que expanden sus proyectos. La IA de la agencia ayuda a las empresas a navegar por las complejidades de crear agentes asequibles y escalables, lo que consolida aún más la propuesta de valor de combinar AgentOps con la API de Gemini. Como enfatiza Silverman, "está llevando a más desarrolladores preocupados por los precios a crear agentes".
Para los desarrolladores que consideran usar Gemini, el consejo de Silverman es claro: "Pruébalo y te sorprenderá".
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Falta la información que necesito","missingTheInformationINeed","thumb-down"],["Muy complicado o demasiados pasos","tooComplicatedTooManySteps","thumb-down"],["Desactualizado","outOfDate","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Problema con las muestras o los códigos","samplesCodeIssue","thumb-down"],["Otro","otherDown","thumb-down"]],[],[],[],null,["[](/showcase) \nShare\nOCT 30, 2024 \n\nBringing AI Agents to production with Gemini API \nVishal Dharmadhikari\n\nProduct Solutions Engineer \nPaige Bailey\n\nAI Developer Experience Engineer \nAdam Silverman\n\nCOO, Agency AI \n\nBuilding and deploying AI agents is an exciting frontier, but managing these complex systems in a production environment requires robust observability. [AgentOps](https://www.agentops.ai/), a Python SDK for agent monitoring, LLM cost tracking, benchmarking, and more, empowers developers to take their agents from prototype to production, especially when paired with the power and cost-effectiveness of the [Gemini API](https://ai.google.dev/gemini-api/docs).\n\nThe Gemini advantage \n\nAdam Silverman, COO of [Agency AI](https://www.agen.cy/), the team behind AgentOps, explains that cost is a critical factor for enterprises deploying AI agents at scale. \"We've seen enterprises spend $80,000 per month on LLM calls. With Gemini 1.5, this would have been a few thousand dollars for the same output.\"\n\n\n\u003cbr /\u003e\n\n\nThis cost-effectiveness, combined with Gemini's powerful language understanding and generation capabilities, makes it an ideal choice for developers building sophisticated AI agents. \"Gemini 1.5 Flash is giving us comparable quality to larger models, at a fraction of the cost while being incredibly fast,\" says Silverman. This allows developers to focus on building complex, multi-step agent workflows without worrying about runaway costs.\n\u003e \"We have seen individual agent runs with other LLM providers cost $500+ per run. These same runs with Gemini (1.5 Flash-8B) cost under $50.\"\n\n--- Adam Silverman, COO, Agency AI\n\nPowering AI Agents \n\nAgentOps captures data on every agent interaction, not just LLM calls, providing a comprehensive view of how multi-agent systems operate. This granular level of detail is essential for engineering and compliance teams, offering crucial insights for debugging, optimization, and audit trails.\n\n\n\u003cbr /\u003e\n\n\nIntegrating Gemini models with AgentOps is remarkably simple, often taking just minutes using LiteLLM. Developers can quickly gain visibility into their Gemini APIcalls, track costs in real-time, and ensure the reliability of their agents in production.\n\nLooking ahead \n\nAgentOps is committed to supporting agent developers as they scale their projects. Agency AI is helping enterprises navigate the complexities of building affordable, scalable agents, further solidifying the value proposition of combining AgentOps with the Gemini API. As Silverman emphasizes, \"It is ushering more price-conscious developers to build agents.\"\n\n\n\u003cbr /\u003e\n\n\nFor developers considering using Gemini, Silverman's advice is clear: \"Give it a try, and you will be impressed.\" \n\nRelated case studies \n[Sourcegraph\nLearn how Cody AI saw big quality gains using Gemini's massive context window.](/showcase/sourcegraph) [Sublayer\nSee how the Ruby-based AI agent framework empowers developer teams to be more productive with the power of Gemini models.](/showcase/sublayer) [Viggle\nExperimenting with Gemini 2.0 to create virtual characters and audio narration for their AI powered video platform](/showcase/viggle)"]]