2024 年 10 月 30 日
使用 Gemini API 將 AI 代理程式導入正式環境
建構及部署 AI 服務專員是令人振奮的先進技術，但在實際工作環境中管理這些複雜的系統，需要強大的可觀察性。AgentOps 是用於監控服務機器人、追蹤 LLM 成本、進行基準測試等用途的 Python SDK，可協助開發人員將服務機器人從原型階段推進到實際工作環境，尤其是搭配 Gemini API 的強大功能和經濟效益時。
Gemini 的優勢
Agency AI 的 COO Adam Silverman 是 AgentOps 團隊成員，他表示，企業大規模部署 AI 服務時，成本是關鍵因素。「我們發現企業每月花費 $80,000 美元用於 LLM 通話。同樣的輸出結果，如果使用 Gemini 1.5，成本可能要花上數千美元。」
這項服務的成本效益高，加上 Gemini 強大的語言理解和生成功能，是開發人員打造複雜 AI 代理程式的理想選擇。「Gemini 1.5 Flash 的品質與大型模型相當，但價格卻只要一小部分，而且速度極快。」Silverman 說。如此一來，開發人員就能專注於建構複雜的多步驟服務專員工作流程，而不必擔心成本超支。
「我們發現，透過其他 LLM 供應商執行個別代理人作業，每次執行的費用為 $500 美元以上。同樣在 Gemini (1.5 Flash-8B) 上執行的運算，費用不到 $50 美元。」
為 AI 虛擬服務專員提供動力
AgentOps 會擷取每個服務台人員互動資料，而非僅限於 LLM 呼叫，讓您全面掌握多服務台系統的運作方式。工程和法規遵循團隊必須掌握這類精細的詳細資料，才能提供偵錯、最佳化和稽核記錄的重要洞察資料。
整合 Gemini 模型與 AgentOps 非常簡單，通常只要使用 LiteLLM 幾分鐘即可完成。開發人員可以快速掌握 Gemini API 呼叫的相關資訊、即時追蹤費用，並確保服務代理在實際環境中的可靠度。
展望未來
AgentOps 致力於協助代理程式開發人員擴大專案規模。Agency AI 可協助企業克服建構可負擔且可擴充的服務專員的複雜挑戰，進一步強化 AgentOps 與 Gemini API 的價值主張。正如 Silverman 所強調的，這項功能可讓更多重視價格的開發人員建構服務代理程式。
對於考慮使用 Gemini 的開發人員，Silverman 的建議很明確：「試試看，你會很驚豔。」
