30 ตุลาคม 2024
การใช้ตัวแทน AI ในเวอร์ชันที่ใช้งานจริงด้วย Gemini API
การสร้างและทำให้ตัวแทน AI ใช้งานได้เป็นเทคโนโลยีขั้นสูงที่น่าตื่นเต้น แต่การจัดการระบบที่ซับซ้อนเหล่านี้ในสภาพแวดล้อมเวอร์ชันที่ใช้งานจริงจำเป็นต้องมีการสังเกตการณ์ที่มีประสิทธิภาพ AgentOps เป็น SDK ของ Python สําหรับการตรวจสอบตัวแทน ติดตามค่าใช้จ่าย LLM การเปรียบเทียบ และอื่นๆ ซึ่งช่วยให้นักพัฒนาซอฟต์แวร์นําตัวแทนจากโปรโตไทป์ไปใช้ในเวอร์ชันที่ใช้งานจริงได้ โดยเฉพาะเมื่อใช้ร่วมกับประสิทธิภาพและความสามารถในการทํางานคุ้มค่าของ Gemini API
ข้อดีของ Gemini
Adam Silverman รองประธานฝ่ายปฏิบัติการของ Agency AI ซึ่งเป็นทีมที่อยู่เบื้องหลัง AgentOps อธิบายว่าต้นทุนเป็นปัจจัยสําคัญสําหรับองค์กรที่ใช้งานตัวแทน AI ในระดับที่ใหญ่ "เราพบว่าองค์กรต่างๆ ใช้จ่าย $80,000 ต่อเดือนในการโทร LLM เมื่อใช้ Gemini 1.5 ค่าใช้จ่ายจะอยู่ที่ประมาณ 2-3 พันดอลลาร์สหรัฐสำหรับเอาต์พุตเดียวกัน"
ความคุ้มค่านี้ประกอบกับความสามารถในการเข้าใจและสร้างภาษาที่มีประสิทธิภาพของ Gemini ทำให้เป็นตัวเลือกที่เหมาะสำหรับนักพัฒนาซอฟต์แวร์ในการสร้างตัวแทน AI ที่มีประสิทธิภาพ "Gemini 1.5 Flash ให้คุณภาพเทียบเท่ากับโมเดลขนาดใหญ่ในราคาเพียงเศษเสี้ยว ทั้งยังทำงานได้เร็วอย่างไม่น่าเชื่อ" Silverman กล่าว วิธีนี้ช่วยให้นักพัฒนาแอปมุ่งเน้นที่การสร้างเวิร์กโฟลว์ของตัวแทนที่ซับซ้อนแบบหลายขั้นตอนได้โดยไม่ต้องกังวลเรื่องค่าใช้จ่ายที่เพิ่มขึ้น
"เราพบว่าการเรียกใช้ตัวแทนแต่ละรายกับผู้ให้บริการ LLM รายอื่นมีค่าใช้จ่ายมากกว่า $500 ต่อครั้ง การเรียกใช้เหล่านี้กับ Gemini (1.5 Flash-8B) มีค่าใช้จ่ายไม่ถึง 500 บาท"
ขับเคลื่อนตัวแทน AI
AgentOps จะบันทึกข้อมูลเกี่ยวกับการโต้ตอบของตัวแทนทุกครั้ง ไม่ใช่แค่การเรียกใช้ LLM ซึ่งจะให้มุมมองที่ครอบคลุมเกี่ยวกับวิธีการทำงานของระบบหลายตัวแทน รายละเอียดระดับนี้มีความสําคัญสําหรับทีมวิศวกรและทีมปฏิบัติตามข้อกําหนด โดยให้ข้อมูลเชิงลึกที่สําคัญสําหรับการแก้ไขข้อบกพร่อง การเพิ่มประสิทธิภาพ และร่องรอยการตรวจสอบ
การผสานรวมโมเดล Gemini กับ AgentOps นั้นง่ายดายมาก โดยมักจะใช้เวลาเพียงไม่กี่นาทีโดยใช้ LiteLLM นักพัฒนาแอปจะดูการเรียกใช้ Gemini API, ติดตามค่าใช้จ่ายแบบเรียลไทม์ และตรวจสอบความน่าเชื่อถือของตัวแทนในเวอร์ชันที่ใช้งานจริงได้อย่างรวดเร็ว
ในอนาคต
AgentOps มุ่งมั่นที่จะสนับสนุนนักพัฒนาแอปตัวแทนเมื่อขยายขนาดโปรเจ็กต์ AI ของเอเจนซีช่วยให้องค์กรต่างๆ จัดการกับความซับซ้อนในการสร้างตัวแทนที่ปรับขนาดได้และราคาไม่แพง ซึ่งช่วยเสริมข้อเสนอมูลค่าของการรวม AgentOps เข้ากับ Gemini API ให้ดียิ่งขึ้น ดังที่ Silverman เน้นย้ำว่า "เครื่องมือนี้ช่วยให้นักพัฒนาแอปที่คำนึงถึงราคาสร้างตัวแทนได้มากขึ้น"
คำแนะนำของ Silverman สำหรับนักพัฒนาแอปที่พิจารณาใช้ Gemini นั้นชัดเจนว่า "ลองใช้ดู แล้วคุณจะประทับใจ"
