Firecrawl 使用 Gemini 2.5 Pro 来整理 AI 应用的 Web 数据

检索增强生成 (RAG) 系统和自主代理等 AI 应用越来越需要访问来自网络的实时真实世界信息。不过，网页内容通常是非结构化的、动态的且不一致，这使得可靠的数据提取成为开发者的重大挑战。

Firecrawl 是一个以 AI 为先的 Web 数据平台，提供 API，使开发者和 AI 系统能够以编程方式大规模查找、提取、解析和构建 Web 数据。它们可抽象化传统网页抓取的复杂性，将非结构化网页内容转换为干净且可用的数据。

为了实现这一目标，Firecrawl 使用 Gemini 2.5 Pro 为其核心提取引擎提供支持。Gemini 模型提供先进的语言理解和推理能力，可准确解析各种不规则的网页内容。

Firecrawl 旨在让 AI 系统能够访问整个网络。传统的基于规则的网页抓取方法通常很脆弱，并且需要不断维护，因为网站结构会频繁变化。Firecrawl 需要一种能够理解上下文并可靠提取数据的解决方案，即使数据来自高度可变的数据源也是如此。

Firecrawl 使用 Gemini 2.5 Pro 开发了两款核心产品：

• SmartScrape：一种提取工具，可利用 Gemini 2.5 Pro 的语言理解和推理能力将原始 HTML 转换为结构化输出，例如 JSON 或键值对。它会执行情境感知提取，了解数据相对于用户指定目标的含义，而不仅仅是数据在网页上的位置。
• FIRE-1：一种实验性智能体框架，使用 Gemini 2.5 Pro 来解读用户意图、浏览网页内容，并根据实时网页数据生成输出。

在采用 Gemini 2.5 Pro 之前，Firecrawl 评估了多款领先的模型。他们发现，其他模型难以在生产规模下处理真实世界网络内容的复杂性和可变性。

“Gemini 2.5 Pro 让整个项目成为可能，”Firecrawl 的联合创始人 Eric Ciarla 说道。“在使用 Gemini 2.5 Pro 之前，我们测试过的模型无法可靠地处理提取和推理真实世界网络内容所需的复杂程度。Gemini 2.5 Pro 的推理能力、准确性和稳定性让我们能够满怀信心地继续前进。”

Firecrawl 在大约一周内将 Gemini 2.5 Pro 集成到了其产品中。它们在其代理架构中利用了模型的推理和工具调用功能。

在 FIRE-1 代理框架中，模型在代理循环中运行，该循环将 Gemini 2.5 Pro 的推理与确定性控制流相结合。该过程的工作原理如下：

• 输入：代理接收网页文档对象模型 (DOM) 和定义的用户目标（例如，“获取此网站上的所有网页”）。
• 推理：Gemini 2.5 Pro 分析输入内容并确定所需的操作。
• 执行：模型通过工具调用（函数调用）执行这些操作。对于导航任务，智能体可能会自主调用 click(next_page) 等函数来检索所需的数据。

这种方法使 Firecrawl 能够处理需要灵活性和可预测性的复杂网页导航和提取任务。

在比较提取准确性和复杂网页解析的内部基准测试中，Gemini 2.5 Pro 的表现明显优于 Firecrawl 评估的其他模型。

在 Firecrawl 的内部评估中，Gemini 2.5 Pro 的准确率达到了 98%。测试的次优模型达到了约 80% 的准确率。这种性能提升直接转化为更高质量的提取输出，以及生产工作负载中更可靠的代理行为。

Ciarla 指出：“在我们的内部测试中，Gemini 2.5 Pro 在我们用例的每个关键维度（提取准确率、复杂推理、延迟时间和总体吞吐量）方面均始终优于其他替代方案。”

Gemini 模型现已成为 Firecrawl AI 基础设施的基础组件，可帮助他们为 AI 产品提供可靠的网络数据流水线。

Firecrawl 目前正在评估 Gemini 2.5 Flash 在需要极低延迟时间的应用场景中的表现，因为在这些场景中，实时代理互动至关重要。随着 Gemini 模型系列的不断发展，Firecrawl 计划集成新功能，以进一步改进 AI 智能体与真实世界 Web 数据的互动方式。

如需开始构建自己的应用，请参阅我们的 API 文档，了解 Gemini 模型的功能。