اشتراک گذاری

۳۰ اکتبر ۲۰۲۴

آوردن عامل‌های هوش مصنوعی به مرحله تولید با Gemini API

ویشال دارمادیکاری

مهندس راهکارهای محصول

پیج بیلی

مهندس تجربه توسعه‌دهنده هوش مصنوعی

آدام سیلورمن

مدیر ارشد عملیات، آژانس هوش مصنوعی

قهرمان نمایشی AgentOps

ساخت و استقرار عامل‌های هوش مصنوعی یک مرز هیجان‌انگیز است، اما مدیریت این سیستم‌های پیچیده در یک محیط تولید نیاز به قابلیت مشاهده قوی دارد. AgentOps ، یک SDK پایتون برای نظارت بر عامل، ردیابی هزینه LLM، معیارسنجی و موارد دیگر، به توسعه‌دهندگان این امکان را می‌دهد تا عامل‌های خود را از نمونه اولیه به تولید برسانند، به خصوص هنگامی که با قدرت و مقرون به صرفه بودن Gemini API همراه شود.

رابط کاربری پلتفرم AgentOps، Gemini را در حال اجرا نشان می‌دهد

مزیت جمینی

آدام سیلورمن، مدیر ارشد عملیات Agency AI ، تیم پشت AgentOps، توضیح می‌دهد که هزینه یک عامل حیاتی برای شرکت‌هایی است که عوامل هوش مصنوعی را در مقیاس بزرگ به کار می‌گیرند. «ما شاهد بوده‌ایم که شرکت‌ها ماهانه ۸۰،۰۰۰ دلار برای تماس‌های LLM هزینه می‌کنند. با Gemini 1.5، این مبلغ برای همان خروجی به چند هزار دلار می‌رسید.»

این مقرون به صرفه بودن، همراه با قابلیت‌های قدرتمند درک زبان و تولید Gemini، آن را به انتخابی ایده‌آل برای توسعه‌دهندگانی تبدیل می‌کند که در حال ساخت عامل‌های هوش مصنوعی پیچیده هستند. سیلورمن می‌گوید: «Gemini 1.5 Flash کیفیتی قابل مقایسه با مدل‌های بزرگتر را با کسری از هزینه و در عین حال سرعتی فوق‌العاده به ما ارائه می‌دهد.» این امر به توسعه‌دهندگان اجازه می‌دهد تا بدون نگرانی در مورد هزینه‌های سرسام‌آور، بر ساخت گردش‌های کاری پیچیده و چند مرحله‌ای عامل‌ها تمرکز کنند.

«ما شاهد بوده‌ایم که هزینه‌های اجرای طرح‌های تکی با سایر ارائه‌دهندگان خدمات LLM بیش از ۵۰۰ دلار برای هر اجرا بوده است. همین اجراها با Gemini (1.5 Flash-8B) کمتر از ۵۰ دلار هزینه داشته است.»

— آدام سیلورمن، مدیر ارشد عملیات، آژانس هوش مصنوعی

ماکت داشبورد AgentOps که تجزیه و تحلیل و آمار را نشان می‌دهد

توانمندسازی عوامل هوش مصنوعی

AgentOps داده‌ها را در مورد هر تعامل عامل، نه فقط تماس‌های LLM، ثبت می‌کند و یک دیدگاه جامع از نحوه عملکرد سیستم‌های چندعاملی ارائه می‌دهد. این سطح از جزئیات جزئی برای تیم‌های مهندسی و انطباق ضروری است و بینش‌های مهمی را برای اشکال‌زدایی، بهینه‌سازی و ردیابی ممیزی ارائه می‌دهد.

ادغام مدل‌های Gemini با AgentOps به طرز چشمگیری ساده است و اغلب با استفاده از LiteLLM فقط چند دقیقه طول می‌کشد. توسعه‌دهندگان می‌توانند به سرعت به تماس‌های API Gemini خود دسترسی پیدا کنند، هزینه‌ها را به صورت بلادرنگ پیگیری کنند و از قابلیت اطمینان Agentهای خود در محیط عملیاتی اطمینان حاصل کنند.

با نگاهی به آینده

AgentOps متعهد به حمایت از توسعه‌دهندگان عامل در حین مقیاس‌بندی پروژه‌هایشان است. هوش مصنوعی سازمانی به شرکت‌ها کمک می‌کند تا پیچیدگی‌های ساخت عامل‌های مقرون‌به‌صرفه و مقیاس‌پذیر را مدیریت کنند و ارزش پیشنهادی ترکیب AgentOps با رابط برنامه‌نویسی Gemini را بیش از پیش تثبیت کنند. همانطور که سیلورمن تأکید می‌کند، «این امر توسعه‌دهندگان آگاه‌تر به قیمت را به سمت ساخت عامل‌ها سوق می‌دهد.»

برای توسعه‌دهندگانی که استفاده از Gemini را در نظر دارند، توصیه سیلورمن واضح است: «امتحانش کنید، تحت تأثیر قرار خواهید گرفت.»

ویگل

آزمایش با Gemini 2.0 برای ایجاد شخصیت‌های مجازی و روایت صوتی برای پلتفرم ویدیویی مبتنی بر هوش مصنوعی آنها