Bug0 ลดการแก้ไขข้อบกพร่องในการทดสอบด้วยตนเองได้ 60% ด้วย Gemini 2.5 Pro

การประกันคุณภาพ (QA) ของซอฟต์แวร์แบบเดิมมักอาศัยการทดสอบที่เปราะบางซึ่งอิงตามตัวเลือกที่จะหยุดทำงานเมื่ออินเทอร์เฟซผู้ใช้เปลี่ยนแปลง การแก้ไขข้อบกพร่องของความล้มเหลวเหล่านี้มักต้องให้วิศวกรตรวจสอบบันทึกการทดสอบและการบันทึกด้วยตนเอง ซึ่งเป็นกระบวนการที่ใช้เวลานานและทำให้ความเร็วในการพัฒนาช้าลง

Bug0 ซึ่งเป็นแพลตฟอร์ม QA ที่ทำงานด้วยระบบ AI จะช่วยทีมวิศวกรทดสอบเบราว์เซอร์และอุปกรณ์เคลื่อนที่โดยอัตโนมัติ แพลตฟอร์มของบริษัทออกแบบมาเพื่อสร้าง บำรุงรักษา และแก้ไขข้อบกพร่องในการทดสอบโดยอัตโนมัติในวงกว้าง ซึ่งจะช่วยลดความยุ่งยากที่เกี่ยวข้องกับการประกันคุณภาพ (QA) แบบเดิม

เพื่อปรับปรุงความน่าเชื่อถือของการทดสอบและทำให้กระบวนการแก้ไขข้อบกพร่องเป็นไปโดยอัตโนมัติ Bug0 จึงใช้ความสามารถในการให้เหตุผลแบบมัลติโมดัลของ Gemini 2.5 Pro เพื่อวิเคราะห์การบันทึกการทดสอบ ตรวจสอบผลลัพธ์ และกำหนดสาเหตุที่ทำให้เกิดข้อผิดพลาดโดยอัตโนมัติ

Bug0 พยายามลดการพึ่งพาเฟรมเวิร์กการยืนยันแบบเดิม เช่น Playwright ซึ่งขึ้นอยู่กับตัวเลือกโค้ดที่เฉพาะเจาะจงซึ่งมักจะล้าสมัย นอกจากนี้ยังต้องการวิธีที่ปรับขนาดได้เพื่อวิเคราะห์ผลลัพธ์ของการทดสอบโดยไม่ต้องมีการแทรกแซงด้วยตนเอง

"การดูการบันทึกการทดสอบทั้งหมดเพื่อระบุสาเหตุหลักของความล้มเหลวทำให้เสียเวลา และการดูแลตัวเลือกที่ซับซ้อนหรือการยืนยันที่ไม่เสถียรทำให้เราทำงานช้าลง" Sandeep Panda ผู้ร่วมก่อตั้งและ CTO ของ Bug0 กล่าว "เราต้องการวิธีสรุปความตั้งใจและผลลัพธ์ของการทดสอบโดยอัตโนมัติโดยใช้ AI"

Bug0 เลือก Gemini 2.5 Pro โดยเฉพาะเนื่องจากความสามารถขั้นสูงแบบมัลติโมดัล โดยเฉพาะความสามารถในการตีความวิดีโอ

โดยได้ติดตั้งใช้งาน Gemini 2.5 Pro สำหรับฟังก์ชันหลัก 2 อย่าง ได้แก่

• เครื่องมือยืนยัน AI: เครื่องมือจะประเมินว่าบรรลุวัตถุประสงค์ของการทดสอบหรือไม่ โดยอิงตามหลักฐานที่เป็นภาพหรือโครงสร้าง เช่น บันทึกวิดีโอ ภาพหน้าจอของหน้าเว็บ หรือภาพรวมการช่วยเหลือพิเศษ ซึ่งจะแทนที่ตัวระบุโค้ดที่เปราะบางด้วยการยืนยันที่แข็งแกร่งซึ่งทำงานด้วยระบบ AI
• การสรุปความล้มเหลว: เอเจนต์ AI จะวิเคราะห์วิดีโอบันทึกการทดสอบที่ไม่สำเร็จและสรุปสาเหตุหลัก (เช่น ปุ่มที่ขาดหายไปหรือการเปลี่ยนเส้นทางที่ไม่ถูกต้อง) ซึ่งช่วยลดความจำเป็นที่วิศวกรจะต้องตรวจสอบฟุตเทจด้วยตนเอง

Bug0 ผสานรวม Gemini 2.5 Pro โดยใช้ Google Gen AI SDK ใน Node.js การผสานรวมครั้งแรก รวมถึงการทดลองและการปรับแต่งพรอมต์ ใช้เวลาประมาณ 3 วัน

เครื่องมือยืนยัน AI ของบริษัทจะรวมการดำเนินการของเฟรมเวิร์กการทดสอบเข้ากับความสามารถในการประเมินของ Gemini 2.5 Pro เฟรมเวิร์กจะดำเนินการตามขั้นตอนการทดสอบ และ Gemini 2.5 Pro จะประเมินเอาต์พุตที่ได้

"ในเครื่องมือยืนยัน เราได้รวม Gemini 2.5 Pro เข้ากับ Playwright Playwright จะดำเนินการตามขั้นตอน Gemini 2.5 Pro จะประเมินเอาต์พุตภาพและยืนยันว่าผลลัพธ์ที่คาดไว้เป็นไปตามที่ต้องการหรือไม่" Panda อธิบาย "ซึ่งช่วยให้เราไม่ต้องเขียนตัวระบุที่เปราะบางหรือความคาดหวังที่ฮาร์ดโค้ด และใช้การยืนยันภาษาธรรมชาติที่ขับเคลื่อนโดย Gemini 2.5 Pro แทน"

สำหรับข้อมูลสรุปความล้มเหลว Bug0 จะใช้รูปแบบพรอมต์เฉพาะที่มีการบันทึกวิดีโอ บันทึกความล้มเหลว และลักษณะการทำงานที่คาดไว้ Gemini 2.5 Pro จะประมวลผลอินพุตนี้เพื่อสร้างข้อมูลสรุปที่มนุษย์อ่านได้ซึ่งอธิบายสาเหตุที่การทดสอบล้มเหลว ความแม่นยำของ Gemini 2.5 Pro เป็นสิ่งสำคัญสำหรับงาน QA ที่สำคัญเหล่านี้

การผสานรวม Gemini 2.5 Pro ช่วยปรับปรุงเวิร์กโฟลว์การแก้ไขข้อบกพร่องของ Bug0 และความน่าเชื่อถือโดยรวมของแพลตฟอร์มได้อย่างมาก การแทนที่การแก้ไขข้อบกพร่องและการเขียนการยืนยันด้วยตนเองด้วยเวิร์กโฟลว์ที่ขับเคลื่อนด้วย AI ทำให้ Bug0 เพิ่มความเร็วในการพัฒนาให้กับลูกค้า

ผลลัพธ์ที่สำคัญ ได้แก่

• ลดลง 60% ในจำนวนวิดีโอที่ทดสอบไม่สำเร็จซึ่งวิศวกรต้องดูด้วยตนเอง
• ขณะนี้กว่า 70% ของการทดสอบที่ไม่สำเร็จได้รับการสรุปอัตโนมัติพร้อมคำอธิบายสาเหตุที่ถูกต้องแล้ว
• การลดลงอย่างมีนัยสำคัญของความไม่เสถียรของการยืนยันเมื่อเทียบกับวิธีการแบบดั้งเดิมที่อิงตามตัวเลือก

"Gemini 2.5 Pro ช่วยเร่งความเร็วของเรา" Panda กล่าว "การทดสอบช่วยยกระดับประสบการณ์การใช้งานผลิตภัณฑ์หลักของเราด้วยการเปลี่ยนการตรวจสอบการทดสอบจากคอขวดให้กลายเป็นวงจรความคิดเห็นที่รวดเร็ว"

ตอนนี้ Bug0 กำลังพัฒนาฟีเจอร์การเขียนการทดสอบ AI ผู้ใช้จะสามารถส่งวิดีโอโฟลว์ของผู้ใช้ และ Bug0 จะใช้ Gemini 2.5 Pro เพื่อวิเคราะห์วิดีโอและสร้างสคริปต์การทดสอบและการยืนยันที่เกี่ยวข้องโดยอัตโนมัติ

หากต้องการเริ่มสร้างแอปพลิเคชันของคุณเอง โปรดสำรวจความสามารถแบบมัลติโมดัลของโมเดล Gemini ในเอกสารประกอบเกี่ยวกับ API