Firecrawl używa Gemini 2.5 Pro do strukturyzowania danych internetowych na potrzeby aplikacji AI

Aplikacje AI, takie jak systemy generowania z wyszukiwaniem (RAG) i autonomiczne agenty, coraz częściej wymagają dostępu do aktualnych informacji ze świata rzeczywistego z internetu. Treści internetowe są jednak często nieuporządkowane, dynamiczne i niespójne, co sprawia, że wiarygodne wyodrębnianie danych stanowi dla deweloperów duże wyzwanie.

Firecrawl to platforma danych internetowych oparta na AI, która udostępnia interfejsy API umożliwiające deweloperom i systemom AI programowe wyszukiwanie, pobieranie, analizowanie i strukturyzowanie danych internetowych na dużą skalę. Upraszczają one złożoność tradycyjnego pobierania danych ze stron internetowych, przekształcając nieustrukturyzowaną zawartość internetową w czyste, użyteczne dane.

Aby to osiągnąć, Firecrawl korzysta z Gemini 2.5 Pro, które zasila jego podstawowy silnik wyodrębniania. Modele Gemini zapewniają zaawansowane funkcje rozumienia języka i wyciągania wniosków, które są niezbędne do dokładnego analizowania różnorodnych i nieregularnych treści internetowych.

Firecrawl ma na celu udostępnienie całej sieci systemom AI. Tradycyjne metody wyodrębniania danych ze stron internetowych oparte na regułach są często niestabilne i wymagają ciągłej konserwacji, ponieważ struktury witryn często się zmieniają. Firma Firecrawl potrzebowała rozwiązania, które potrafiłoby zrozumieć kontekst i wiarygodnie wyodrębniać dane, nawet z bardzo zróżnicowanych źródeł.

Firma Firecrawl opracowała 2 podstawowe produkty oparte na Gemini 2.5 Pro:

• SmartScrape: narzędzie do wyodrębniania, które wykorzystuje funkcje rozumienia języka i wnioskowania modelu Gemini 2.5 Pro do przekształcania nieprzetworzonego kodu HTML w dane strukturalne, takie jak JSON lub pary klucz-wartość. Wykonuje ona wyodrębnianie z uwzględnieniem kontekstu, rozumiejąc znaczenie danych w odniesieniu do celów określonych przez użytkownika, a nie tylko ich lokalizację na stronie.
• FIRE-1: eksperymentalna platforma agentów, która wykorzystuje Gemini 2.5 Pro do interpretowania intencji użytkownika, poruszania się po treściach internetowych i generowania wyników na podstawie aktualnych danych z sieci.

Przed wdrożeniem Gemini 2.5 Pro firma Firecrawl przetestowała kilka wiodących modeli. Odkryli, że inne modele mają problemy z obsługą złożoności i zmienności rzeczywistych treści internetowych na skalę produkcyjną.

„Gemini 2.5 Pro umożliwił realizację całego projektu” – powiedział Eric Ciarla, współzałożyciel Firecrawl. „Przed użyciem Gemini 2.5 Pro testowane przez nas modele nie były w stanie niezawodnie poradzić sobie z poziomem złożoności wymaganym do wyodrębniania i analizowania treści internetowych z prawdziwego świata. Możliwości rozumowania, dokładność i stabilność modelu Gemini 2.5 Pro pozwoliły nam z pewnością iść naprzód”.

Firma Firecrawl zintegrowała Gemini 2.5 Pro ze swoimi usługami w ciągu około tygodnia. Wykorzystują w swojej architekturze agenta możliwości modelu w zakresie wnioskowania i wywoływania narzędzi.

W ramach agenta FIRE-1 model działa w pętli agenta, która łączy rozumowanie Gemini 2.5 Pro z deterministycznymi przepływami sterowania. Proces przebiega w ten sposób:

• Dane wejściowe: agent otrzymuje model DOM strony internetowej i określony cel użytkownika (np. „pobierz wszystkie strony z tej witryny”).
• Uzasadnienie: Gemini 2.5 Pro analizuje dane wejściowe i określa niezbędne działania.
• Wykonanie: model wykonuje te działania za pomocą wywoływania narzędzi (wywoływania funkcji). W przypadku zadań związanych z nawigacją agent może samodzielnie wywoływać funkcje takie jak click(next_page), aby pobrać wymagane dane.

Takie podejście umożliwia Firecrawl obsługę złożonych zadań związanych z nawigacją po internecie i wyodrębnianiem danych, które wymagają zarówno elastyczności, jak i przewidywalności.

W testach porównawczych przeprowadzonych przez Firecrawl, które dotyczyły dokładności wyodrębniania i złożonego parsowania stron internetowych, model Gemini 2.5 Pro znacznie przewyższył inne modele.

W wewnętrznych testach Firecrawl model Gemini 2.5 Pro osiągnął dokładność na poziomie 98%. Kolejny najlepszy model osiągnął dokładność na poziomie około 80%. Ten wzrost wydajności przełożył się bezpośrednio na wyższą jakość wyników wyodrębniania i bardziej niezawodne działanie agenta w przypadku zbiorów zadań produkcyjnych.

„W naszych testach wewnętrznych Gemini 2.5 Pro konsekwentnie przewyższał alternatywne rozwiązania pod każdym kluczowym względem w naszym przypadku użycia: dokładnością wyodrębniania, złożonym rozumowaniem, opóźnieniem i ogólną przepustowością” – zauważył Ciarla.

Modele Gemini stanowią teraz podstawowy element infrastruktury AI Firecrawl, co umożliwia tej firmie dostarczanie niezawodnych potoków danych internetowych dla usług AI.

Firma Firecrawl obecnie testuje Gemini 2.5 Flash w przypadkach użycia wymagających bardzo małych opóźnień, w których kluczowe są interakcje z agentem w czasie rzeczywistym. W miarę rozwoju rodziny modeli Gemini Firecrawl planuje integrować nowe funkcje, aby jeszcze bardziej ulepszyć sposób, w jaki agenci AI wchodzą w interakcje z danymi internetowymi z życia codziennego.

Aby zacząć tworzyć własne aplikacje, zapoznaj się z możliwościami modeli Gemini w naszej dokumentacji API.