Bug0 giảm 60% thời gian gỡ lỗi kiểm thử thủ công nhờ Gemini 2.5 Pro

Quy trình đảm bảo chất lượng (QA) phần mềm truyền thống thường dựa vào các quy trình kiểm thử dễ bị lỗi dựa trên bộ chọn và sẽ bị gián đoạn khi giao diện người dùng thay đổi. Việc gỡ lỗi những trường hợp thất bại này thường đòi hỏi các kỹ sư phải xem xét nhật ký và bản ghi kiểm thử theo cách thủ công. Đây là một quy trình tốn thời gian và làm chậm tốc độ phát triển.

Bug0 là một nền tảng đảm bảo chất lượng dựa trên AI, tự động hoá quy trình kiểm thử trên trình duyệt và thiết bị di động cho các nhóm kỹ thuật. Nền tảng của họ được thiết kế để tạo, duy trì và tự động khắc phục các kiểm thử trên quy mô lớn, giảm thiểu những khó khăn liên quan đến hoạt động kiểm thử đảm bảo chất lượng (QA) truyền thống.

Để cải thiện độ tin cậy của hoạt động kiểm thử và tự động hoá quy trình gỡ lỗi, Bug0 sử dụng khả năng suy luận đa phương thức của Gemini 2.5 Pro để phân tích bản ghi kiểm thử, xác thực kết quả và tự động xác định nguyên nhân gốc của lỗi.

Bug0 tìm cách giảm sự phụ thuộc vào các khung xác nhận truyền thống, chẳng hạn như Playwright, phụ thuộc vào các bộ chọn mã cụ thể thường xuyên trở nên lỗi thời. Họ cũng cần một cách thức có thể mở rộng để phân tích kết quả thử nghiệm mà không cần can thiệp thủ công.

Sandeep Panda, Đồng sáng lập và Giám đốc công nghệ của Bug0 cho biết: "Việc xem bản ghi thử nghiệm đầy đủ để xác định nguyên nhân gốc của lỗi tốn rất nhiều thời gian, đồng thời việc duy trì các bộ chọn phức tạp hoặc các câu khẳng định không ổn định đã làm chậm tiến độ của chúng tôi". "Chúng tôi cần một cách để tự động tóm tắt ý định và kết quả kiểm thử bằng AI."

Bug0 đã chọn Gemini 2.5 Pro vì mô hình này có khả năng xử lý nhiều phương thức nâng cao, đặc biệt là khả năng diễn giải video.

Họ đã triển khai Gemini 2.5 Pro cho 2 chức năng chính:

• Công cụ xác nhận dựa trên AI: Công cụ này đánh giá xem mục tiêu kiểm thử có đạt được hay không dựa trên bằng chứng trực quan hoặc cấu trúc, chẳng hạn như bản ghi video, ảnh chụp màn hình trang hoặc ảnh chụp nhanh về khả năng hỗ trợ tiếp cận. Thao tác này sẽ thay thế các bộ định vị mã dễ bị lỗi bằng các câu khẳng định mạnh mẽ dựa trên AI.
• Tóm tắt lỗi: Một tác nhân AI phân tích bản ghi video về các bài kiểm thử không thành công và tóm tắt nguyên nhân gốc (ví dụ: thiếu nút hoặc chuyển hướng không chính xác), giảm nhu cầu kỹ sư phải xem xét cảnh quay theo cách thủ công.

Trước khi sử dụng Gemini 2.5 Pro, Firecrawl đã đánh giá một số mô hình hàng đầu. Họ nhận thấy các mô hình khác gặp khó khăn trong việc xử lý độ phức tạp và tính đa dạng của nội dung web thực tế ở quy mô sản xuất.

"Gemini 2.5 Pro giúp toàn bộ dự án trở nên khả thi", Eric Ciarla, Đồng sáng lập Firecrawl cho biết. "Trước khi sử dụng Gemini 2.5 Pro, các mô hình mà chúng tôi đã thử nghiệm không thể xử lý một cách đáng tin cậy mức độ phức tạp cần thiết để trích xuất và suy luận về nội dung thực tế trên web. Khả năng suy luận, độ chính xác và độ ổn định của Gemini 2.5 Pro giúp chúng tôi tự tin tiến bước."

Bug0 đã tích hợp Gemini 2.5 Pro bằng Google Gen AI SDK trong Node.js. Quá trình tích hợp ban đầu, bao gồm cả thử nghiệm và điều chỉnh câu lệnh, mất khoảng 3 ngày.

Công cụ xác nhận AI của họ kết hợp các hành động của khung kiểm thử với khả năng đánh giá của Gemini 2.5 Pro. Khung này thực thi các bước kiểm thử và Gemini 2.5 Pro đánh giá kết quả đầu ra.

"Trong công cụ xác nhận, chúng tôi kết hợp Gemini 2.5 Pro với Playwright. Playwright thực hiện các bước. Gemini 2.5 Pro đánh giá kết quả trực quan và xác nhận xem kết quả dự kiến có đạt được hay không", Panda giải thích. "Điều này cho phép chúng tôi bỏ qua việc viết các bộ định vị dễ bị lỗi hoặc các kỳ vọng được mã hoá cứng và dựa vào các câu khẳng định bằng ngôn ngữ tự nhiên do Gemini 2.5 Pro hỗ trợ."

Đối với bản tóm tắt lỗi, Bug0 sử dụng một định dạng câu lệnh chuyên biệt bao gồm bản ghi video, nhật ký lỗi và các hành vi dự kiến. Gemini 2.5 Pro xử lý dữ liệu đầu vào này để tạo ra các bản tóm tắt dễ đọc, giải thích lý do khiến kiểm thử không thành công. Độ chính xác của Gemini 2.5 Pro là yếu tố thiết yếu cho những nhiệm vụ kiểm tra chất lượng quan trọng này.

Việc tích hợp Gemini 2.5 Pro đã cải thiện đáng kể quy trình gỡ lỗi của Bug0 và độ tin cậy tổng thể của nền tảng này. Bằng cách thay thế quy trình gỡ lỗi thủ công và viết câu khẳng định bằng quy trình làm việc dựa trên AI, Bug0 đã tăng tốc độ phát triển cho khách hàng của mình.

Sau đây là một số kết quả chính:

• Giảm 60% số lượng video kiểm thử bị lỗi mà kỹ sư cần xem theo cách thủ công
• Hơn 70% lỗi kiểm thử hiện đã được tự động tóm tắt thành công với lời giải thích chính xác về nguyên nhân gốc
• Giảm đáng kể tình trạng không ổn định của câu lệnh so với các phương pháp truyền thống dựa trên bộ chọn

"Gemini 2.5 Pro đã giúp chúng tôi tăng tốc độ," Panda cho biết. "Việc này đã nâng cao trải nghiệm sản phẩm cốt lõi của chúng tôi bằng cách biến quy trình xem xét kiểm thử từ một điểm tắc nghẽn thành một vòng lặp phản hồi nhanh."

Bug0 hiện đang phát triển một tính năng soạn thảo bài kiểm thử bằng AI. Người dùng có thể gửi video về một quy trình của người dùng và Bug0 sẽ sử dụng Gemini 2.5 Pro để phân tích video đó, đồng thời tự động tạo tập lệnh kiểm thử và các câu lệnh tương ứng.

Để bắt đầu xây dựng các ứng dụng của riêng bạn, hãy khám phá các tính năng đa phương thức của mô hình Gemini trong tài liệu về API của chúng tôi.