Firecrawl verwendet Gemini 2.5 Pro, um Webdaten für KI-Anwendungen zu strukturieren

KI-Anwendungen wie RAG-Systeme (Retrieval-Augmented Generation) und autonome Agenten benötigen zunehmend Zugriff auf aktuelle, reale Informationen aus dem Web. Webinhalte sind jedoch oft unstrukturiert, dynamisch und inkonsistent, was die zuverlässige Datenextraktion zu einer großen Herausforderung für Entwickler macht.

Firecrawl ist eine KI-orientierte Webdatenplattform, die APIs bereitstellt, mit denen Entwickler und KI-Systeme Webdaten programmatisch im großen Maßstab finden, abrufen, parsen und strukturieren können. Sie abstrahieren die Komplexität des herkömmlichen Web-Scrapings und wandeln unstrukturierte Webinhalte in saubere, nutzbare Daten um.

Dazu nutzt Firecrawl Gemini 2.5 Pro als Grundlage für die Extraktions-Engine. Gemini-Modelle bieten die fortschrittlichen Funktionen zum Sprachverständnis und logischen Denken, die erforderlich sind, um vielfältige und unregelmäßige Webinhalte genau zu analysieren.

Firecrawl soll das gesamte Web für KI-Systeme zugänglich machen. Herkömmliche regelbasierte Web-Scraping-Methoden sind oft anfällig und erfordern eine ständige Wartung, da sich die Website-Strukturen häufig ändern. Firecrawl benötigte eine Lösung, die in der Lage war, den Kontext zu verstehen und Daten zuverlässig zu extrahieren, auch aus sehr variablen Quellen.

Firecrawl hat zwei Kernprodukte mit Gemini 2.5 Pro entwickelt:

• SmartScrape:Ein Extraktionstool, das die Sprachverständnis- und Schlussfolgerungsfunktionen von Gemini 2.5 Pro nutzt, um rohes HTML in strukturierte Ausgaben wie JSON oder Schlüssel/Wert-Paare umzuwandeln. Dabei wird der Kontext berücksichtigt und die Bedeutung von Daten in Bezug auf die vom Nutzer angegebenen Ziele analysiert, anstatt nur die Position auf einer Seite.
• FIRE-1:Ein experimentelles Agent-Framework, das Gemini 2.5 Pro verwendet, um Nutzerabsichten zu interpretieren, Webinhalte zu durchsuchen und Ausgaben basierend auf Live-Webdaten zu generieren.

Vor der Einführung von Gemini 2.5 Pro hat Firecrawl mehrere führende Modelle evaluiert. Sie stellten fest, dass andere Modelle Schwierigkeiten hatten, die Komplexität und Variabilität von Web-Inhalten in der realen Welt im Produktionsmaßstab zu bewältigen.

„Gemini 2.5 Pro hat das gesamte Projekt erst möglich gemacht“, sagt Eric Ciarla, Mitbegründer von Firecrawl. „Vor der Verwendung von Gemini 2.5 Pro konnten die von uns getesteten Modelle die Komplexität, die zum Extrahieren und Analysieren von Web-Inhalten aus der Praxis erforderlich ist, nicht zuverlässig bewältigen. Die Schlussfolgerungsfähigkeiten, Genauigkeit und Stabilität von Gemini 2.5 Pro haben uns überzeugt.“

Firecrawl hat Gemini 2.5 Pro innerhalb von etwa einer Woche in seine Produkte integriert. Sie nutzen die Argumentations- und Tool-Aufruffunktionen des Modells in ihrer Agentenarchitektur.

Im FIRE-1-Agent-Framework arbeitet das Modell in einer Agentschleife, die die Logik von Gemini 2.5 Pro mit deterministischen Kontrollflüssen kombiniert. So funktioniert der Prozess:

• Eingabe:Der Agent erhält das Document Object Model (DOM) der Webseite und ein definiertes Nutzerziel (z.B. „get me all the pages on this website“ (Rufe alle Seiten dieser Website auf).
• Begründung:Gemini 2.5 Pro analysiert die Eingaben und ermittelt die erforderlichen Aktionen.
• Ausführung:Das Modell führt diese Aktionen über Tool-Aufrufe (Funktionsaufrufe) aus. Für Navigationsaufgaben kann der Agent autonom Funktionen wie „click(next_page)“ aufrufen, um die erforderlichen Daten abzurufen.

Mit diesem Ansatz kann Firecrawl komplexe Webnavigations- und Extraktionsaufgaben bewältigen, die sowohl Flexibilität als auch Vorhersagbarkeit erfordern.

Bei internen Benchmarks zum Vergleich der Extraktionsgenauigkeit und des komplexen Web-Parsings hat Gemini 2.5 Pro andere von Firecrawl bewertete Modelle deutlich übertroffen.

Gemini 2.5 Pro hat bei internen Tests von Firecrawl eine Genauigkeit von 98% erreicht. Das nächstbeste getestete Modell erreichte eine Genauigkeit von etwa 80 %. Diese Leistungssteigerung führte direkt zu einer höheren Qualität der Extraktionsergebnisse und einem zuverlässigeren Agentenverhalten bei Produktionsarbeitslasten.

„Bei unseren internen Tests hat Gemini 2.5 Pro die Alternativen in jeder wichtigen Dimension für unseren Anwendungsfall durchweg übertroffen: Genauigkeit der Extraktion, komplexes Reasoning, Latenz und Gesamtdurchsatz“, so Ciarla.

Gemini-Modelle sind jetzt ein grundlegender Bestandteil der KI-Infrastruktur von Firecrawl und ermöglichen es dem Unternehmen, zuverlässige Webdatenpipelines für KI-Produkte bereitzustellen.

Firecrawl evaluiert derzeit Gemini 2.5 Flash für Anwendungsfälle, die eine extrem niedrige Latenz erfordern, bei denen eine agentenbasierte Echtzeitinteraktion entscheidend ist. Im Zuge der Weiterentwicklung der Gemini-Modellfamilie plant Firecrawl, neue Funktionen zu integrieren, um die Interaktion von KI-Agenten mit realen Webdaten weiter zu verbessern.

Wenn Sie mit der Entwicklung eigener Anwendungen beginnen möchten, können Sie sich in unserer API-Dokumentation über die Funktionen von Gemini-Modellen informieren.