Firecrawl sử dụng Gemini 2.5 Pro để sắp xếp dữ liệu trên web cho các ứng dụng AI

Các ứng dụng AI, chẳng hạn như hệ thống tạo thông tin tăng cường khả năng truy xuất (RAG) và các tác nhân tự trị, ngày càng cần quyền truy cập vào thông tin trực tiếp, thực tế trên web. Tuy nhiên, nội dung trên web thường không có cấu trúc, mang tính động và không nhất quán, khiến việc trích xuất dữ liệu đáng tin cậy trở thành một thách thức lớn đối với nhà phát triển.

Firecrawl, một nền tảng dữ liệu web ưu tiên AI, cung cấp các API cho phép nhà phát triển và hệ thống AI tìm, tìm nạp, phân tích cú pháp và cấu trúc dữ liệu web theo quy mô lớn một cách có lập trình. Các công cụ này loại bỏ sự phức tạp của việc trích xuất dữ liệu truyền thống trên web, chuyển đổi nội dung không có cấu trúc trên web thành dữ liệu rõ ràng, có thể sử dụng.

Để đạt được điều này, Firecrawl sử dụng Gemini 2.5 Pro để hỗ trợ công cụ trích xuất cốt lõi của mình. Các mô hình Gemini cung cấp khả năng hiểu ngôn ngữ và suy luận nâng cao cần thiết để phân tích chính xác nội dung đa dạng và không theo quy tắc trên web.

Firecrawl hướng đến việc giúp các hệ thống AI truy cập được vào toàn bộ web. Các phương pháp trích xuất dữ liệu dựa trên quy tắc truyền thống thường không ổn định và cần được bảo trì liên tục vì cấu trúc trang web thường xuyên thay đổi. Firecrawl cần một giải pháp có khả năng hiểu ngữ cảnh và trích xuất dữ liệu một cách đáng tin cậy, ngay cả từ các nguồn có tính biến động cao.

Firecrawl đã phát triển 2 sản phẩm cốt lõi bằng Gemini 2.5 Pro:

• SmartScrape: Một công cụ trích xuất sử dụng khả năng hiểu ngôn ngữ và suy luận của Gemini 2.5 Pro để chuyển đổi HTML thô thành đầu ra có cấu trúc, chẳng hạn như JSON hoặc các cặp khoá-giá trị. Tính năng này thực hiện hoạt động trích xuất dựa trên bối cảnh, hiểu được ý nghĩa của dữ liệu so với các mục tiêu do người dùng chỉ định, thay vì chỉ vị trí của dữ liệu trên một trang.
• FIRE-1: Một khung tác nhân thử nghiệm sử dụng Gemini 2.5 Pro để diễn giải ý định của người dùng, điều hướng nội dung trên web và tạo ra kết quả dựa trên dữ liệu trực tiếp trên web.

Trước khi sử dụng Gemini 2.5 Pro, Firecrawl đã đánh giá một số mô hình hàng đầu. Họ nhận thấy các mô hình khác gặp khó khăn trong việc xử lý độ phức tạp và tính đa dạng của nội dung web thực tế ở quy mô sản xuất.

"Gemini 2.5 Pro giúp toàn bộ dự án trở nên khả thi", Eric Ciarla, Đồng sáng lập Firecrawl cho biết. "Trước khi sử dụng Gemini 2.5 Pro, các mô hình mà chúng tôi đã thử nghiệm không thể xử lý một cách đáng tin cậy mức độ phức tạp cần thiết để trích xuất và suy luận về nội dung thực tế trên web. Khả năng suy luận, độ chính xác và độ ổn định của Gemini 2.5 Pro giúp chúng tôi tự tin tiến bước."

Firecrawl đã tích hợp Gemini 2.5 Pro vào các sản phẩm của họ trong khoảng một tuần. Họ tận dụng khả năng suy luận và gọi công cụ của mô hình trong cấu trúc tác nhân của mình.

Trong khung tác nhân FIRE-1, mô hình hoạt động trong một vòng lặp tác nhân kết hợp khả năng suy luận của Gemini 2.5 Pro với các luồng điều khiển mang tính xác định. Quy trình này diễn ra như sau:

• Đầu vào: Đặc vụ nhận được Mô hình đối tượng tài liệu (DOM) của trang web và mục tiêu đã xác định của người dùng (ví dụ: "get me all the pages on this website" (lấy cho tôi tất cả các trang trên trang web này).
• Lý do: Gemini 2.5 Pro phân tích dữ liệu đầu vào và xác định những hành động cần thiết.
• Thực thi: Mô hình thực thi các hành động này thông qua lệnh gọi công cụ (lệnh gọi hàm). Đối với các tác vụ điều hướng, tác nhân có thể tự động gọi các hàm như click(next_page) để truy xuất dữ liệu cần thiết.

Phương pháp này cho phép Firecrawl xử lý các tác vụ điều hướng và trích xuất phức tạp trên web, đòi hỏi cả tính linh hoạt và khả năng dự đoán.

Trong các điểm chuẩn nội bộ so sánh độ chính xác của việc trích xuất và phân tích cú pháp web phức tạp, Gemini 2.5 Pro đã vượt trội hơn đáng kể so với các mô hình khác mà Firecrawl đánh giá.

Gemini 2.5 Pro đạt độ chính xác 98% trong các đánh giá nội bộ của Firecrawl. Mô hình tốt thứ hai được thử nghiệm đạt độ chính xác khoảng 80%. Việc tăng hiệu suất này đã trực tiếp chuyển thành kết quả trích xuất chất lượng cao hơn và hành vi của tác nhân đáng tin cậy hơn trong khối lượng công việc sản xuất.

"Trong quá trình thử nghiệm nội bộ, Gemini 2.5 Pro luôn vượt trội hơn các lựa chọn thay thế về mọi phương diện chính cho trường hợp sử dụng của chúng tôi: độ chính xác khi trích xuất, khả năng suy luận phức tạp, độ trễ và thông lượng tổng thể", Ciarla cho biết.

Các mô hình Gemini hiện là một thành phần nền tảng trong cơ sở hạ tầng AI của Firecrawl, cho phép họ cung cấp các quy trình dữ liệu web đáng tin cậy cho các sản phẩm AI.

Firecrawl hiện đang đánh giá Gemini 2.5 Flash cho những trường hợp sử dụng đòi hỏi độ trễ cực thấp, trong đó hoạt động tương tác theo thời gian thực của trợ lý AI là yếu tố quan trọng. Khi bộ mô hình Gemini phát triển, Firecrawl dự định tích hợp các chức năng mới để cải thiện hơn nữa cách các tác nhân AI tương tác với dữ liệu web trong thế giới thực.

Để bắt đầu xây dựng các ứng dụng của riêng bạn, hãy khám phá các tính năng của mô hình Gemini trong tài liệu về API của chúng tôi.