शेयर करें

30 अक्टूबर, 2024

Gemini API की मदद से, एआई एजेंट को प्रोडक्शन में शामिल करना

विशाल धर्माधिकारी

प्रॉडक्ट सलूशन इंजीनियर

पेज बेली

एआई डेवलपर एक्सपीरियंस इंजीनियर

ऐडम सिल्वरमैन

सीओओ, Agency AI

AgentOps की हीरो इमेज

एआई एजेंट बनाना और उन्हें डिप्लॉय करना एक दिलचस्प काम है. हालांकि, प्रोडक्शन एनवायरमेंट में इन जटिल सिस्टम को मैनेज करने के लिए, मज़बूत निगरानी की ज़रूरत होती है. AgentOps, एजेंट मॉनिटरिंग, एलएलएम की लागत ट्रैकिंग, बेंचमार्किंग वगैरह के लिए Python SDK टूल है. इसकी मदद से, डेवलपर अपने एजेंट को प्रोटोटाइप से प्रोडक्शन में ले जा सकते हैं. खास तौर पर, जब इसे Gemini API की बेहतर सुविधाओं और कम लागत के साथ जोड़ा जाता है.

AgentOps प्लैटफ़ॉर्म का यूज़र इंटरफ़ेस (यूआई), जिसमें Gemini को काम करते हुए दिखाया गया है

Gemini के फ़ायदे

AgentOps की टीम, Agency AI की सीओओ, एडम सिल्वरमैन बताते हैं कि बड़े पैमाने पर एआई एजेंट को डिप्लॉय करने वाले एंटरप्राइज़ के लिए, लागत एक अहम फ़ैक्टर है. "हमने देखा है कि एंटरप्राइज़, एलएलएम कॉल पर हर महीने 80,000 डॉलर खर्च करते हैं. Gemini 1.5 के साथ, यही आउटपुट पाने के लिए कुछ हज़ार डॉलर खर्च करने पड़ते."

Gemini की भाषा समझने और जनरेट करने की बेहतर सुविधाओं के साथ-साथ, कम लागत की वजह से, यह एआई एजेंट बनाने वाले डेवलपर के लिए एक बेहतरीन विकल्प है. सिल्वरमैन कहते हैं, "Gemini 1.5 Flash, हमें बड़े मॉडल के बराबर क्वालिटी दे रहा है. साथ ही, यह काफ़ी तेज़ है और कम लागत में काम करता है." इससे डेवलपर, ज़्यादा खर्च किए बिना, एजेंट के लिए कई चरणों वाले जटिल वर्कफ़्लो बनाने पर फ़ोकस कर सकते हैं.

“हमने देखा है कि अन्य एलएलएम प्रोवाइडर के साथ, हर एजेंट के लिए 500 डॉलर से ज़्यादा खर्च होते हैं. वहीं, Gemini (1.5 Flash-8B) की मदद से इनका अनुमानित खर्च 50 डॉलर से कम है.”

— एडम सिल्वरमैन, सीओओ, Agency AI

Analytics और आंकड़े दिखाने वाला AgentOps डैशबोर्ड का मॉक अप

एआई एजेंट को बेहतर बनाना

AgentOps, एलएलएम कॉल के साथ-साथ एजेंट के हर इंटरैक्शन का डेटा कैप्चर करता है. इससे यह जानकारी मिलती है कि मल्टी-एजेंट सिस्टम कैसे काम करते हैं. इंजीनियरिंग और नियमों का पालन करने वाली टीमों के लिए, ज़्यादा जानकारी देना ज़रूरी है. इससे डीबग करने, ऑप्टिमाइज़ करने, और ऑडिट ट्रेल के लिए अहम जानकारी मिलती है.

Gemini मॉडल को AgentOps के साथ इंटिग्रेट करना बेहद आसान है. LiteLLM का इस्तेमाल करके, ऐसा करने में अक्सर कुछ ही मिनट लगते हैं. डेवलपर, अपने Gemini API कॉल को तुरंत देख सकते हैं. साथ ही, रीयल-टाइम में लागत को ट्रैक कर सकते हैं और प्रोडक्शन में अपने एजेंट की भरोसेमंदता को पक्का कर सकते हैं.

आगे की योजना

AgentOps, एजेंट डेवलपर को उनके प्रोजेक्ट को बड़े पैमाने पर इस्तेमाल करने में मदद करने के लिए प्रतिबद्ध है. Agency AI, एंटरप्राइज़ को किफ़ायती और बड़े पैमाने पर काम करने वाले एजेंट बनाने की मुश्किलों से निपटने में मदद कर रहा है. इससे, AgentOps को Gemini API के साथ जोड़ने की अहमियत और भी बढ़ जाती है. सिल्वरमैन के मुताबिक, "इससे, कीमत को ध्यान में रखकर एजेंट बनाने वाले डेवलपर की संख्या बढ़ रही है."

Gemini का इस्तेमाल करने पर विचार कर रहे डेवलपर के लिए, सिल्वरमैन का सुझाव साफ़ है: "इसे आज़माएं और आपको यह पसंद आएगा."