Делиться

30 октября 2024 г.

Внедрение ИИ-агентов в производство с помощью API Gemini.

Вишал Дхармадхикари

Инженер по разработке продуктовых решений

Пейдж Бейли

Инженер по пользовательскому опыту для разработчиков ИИ

Адам Сильверман

Операционный директор, Agency AI

Герой демонстрации AgentOps

Создание и развертывание агентов ИИ — это захватывающая область, но управление этими сложными системами в производственной среде требует надежной мониторинга. AgentOps , SDK на Python для мониторинга агентов, отслеживания затрат LLM, бенчмаркинга и многого другого, позволяет разработчикам переводить своих агентов из прототипа в производство, особенно в сочетании с мощью и экономичностью API Gemini .

Пользовательский интерфейс платформы AgentOps, демонстрирующий работу Gemini.

Преимущество Близнецов

Адам Сильверман, операционный директор Agency AI , команды, стоящей за AgentOps, объясняет, что стоимость является критически важным фактором для предприятий, развертывающих ИИ-агентов в больших масштабах. «Мы видели, как предприятия тратят 80 000 долларов в месяц на звонки LLM. С Gemini 1.5 это обошлось бы в несколько тысяч долларов за тот же результат».

Эта экономичность в сочетании с мощными возможностями Gemini по пониманию языка и генерации кода делает его идеальным выбором для разработчиков, создающих сложные ИИ-агенты. «Gemini 1.5 Flash обеспечивает нам качество, сопоставимое с более крупными моделями, при этом обходится значительно дешевле и работает невероятно быстро», — говорит Сильверман. Это позволяет разработчикам сосредоточиться на создании сложных многоэтапных рабочих процессов для агентов, не беспокоясь о чрезмерных затратах.

«Мы видели, как стоимость одного запуска агента у других поставщиков LLM превышала 500 долларов. Те же самые запуски с Gemini (1.5 Flash-8B) обошлись менее чем в 50 долларов».

— Адам Сильверман, главный операционный директор Agency AI

Макет панели мониторинга AgentOps, отображающий аналитику и статистику.

Разработка и внедрение агентов искусственного интеллекта

AgentOps собирает данные о каждом взаимодействии с агентом, а не только о звонках LLM, предоставляя всестороннее представление о работе многоагентных систем. Такой уровень детализации необходим командам разработчиков и специалистов по соблюдению нормативных требований, предоставляя важную информацию для отладки, оптимизации и ведения журналов аудита.

Интеграция моделей Gemini с AgentOps удивительно проста и часто занимает всего несколько минут при использовании LiteLLM. Разработчики могут быстро получить представление о своих вызовах API Gemini, отслеживать затраты в режиме реального времени и обеспечивать надежность своих агентов в производственной среде.

Взгляд в будущее

AgentOps стремится поддерживать разработчиков агентов по мере масштабирования их проектов. Agency AI помогает предприятиям ориентироваться в сложностях создания доступных и масштабируемых агентов, еще больше укрепляя ценность объединения AgentOps с API Gemini. Как подчеркивает Сильверман, «это побуждает все больше разработчиков, ориентированных на снижение затрат, создавать агенты».

Разработчикам, рассматривающим возможность использования Gemini, Сильверман дает однозначный совет: «Попробуйте, и вы будете впечатлены».

Виггл

Компания экспериментирует с Gemini 2.0 для создания виртуальных персонажей и озвучивания для своей видеоплатформы на основе искусственного интеллекта.