Firecrawl은 Gemini 2.5 Pro를 사용하여 AI 애플리케이션을 위한 웹 데이터를 구조화합니다.

검색 증강 생성 (RAG) 시스템 및 자율 에이전트와 같은 AI 애플리케이션은 웹에서 실시간 실제 정보에 대한 액세스가 점점 더 많이 필요합니다. 하지만 웹 콘텐츠는 비구조적이고 동적이며 일관성이 없는 경우가 많아 개발자가 신뢰할 수 있는 데이터를 추출하기가 어렵습니다.

AI 중심 웹 데이터 플랫폼인 Firecrawl은 개발자와 AI 시스템이 프로그래매틱 방식으로 웹 데이터를 대규모로 찾고, 가져오고, 파싱하고, 구조화할 수 있는 API를 제공합니다. 기존 웹 스크래핑의 복잡성을 추상화하여 비구조화된 웹 콘텐츠를 깨끗하고 사용 가능한 데이터로 변환합니다.

이를 위해 Firecrawl은 Gemini 2.5 Pro를 사용하여 핵심 추출 엔진을 구동합니다. Gemini 모델은 다양하고 불규칙한 웹 콘텐츠를 정확하게 파싱하는 데 필요한 고급 언어 이해 및 추론 기능을 제공합니다.

Firecrawl은 AI 시스템이 전체 웹에 액세스할 수 있도록 하는 것을 목표로 합니다. 기존의 규칙 기반 웹 스크래핑 방법은 웹사이트 구조가 자주 변경되기 때문에 취약한 경우가 많으며 지속적인 유지보수가 필요합니다. Firecrawl은 맥락을 이해하고 변동성이 큰 소스에서도 데이터를 안정적으로 추출할 수 있는 솔루션이 필요했습니다.

Firecrawl은 Gemini 2.5 Pro를 사용하여 두 가지 핵심 제품을 개발했습니다.

• SmartScrape: Gemini 2.5 Pro의 언어 이해 및 추론 기능을 사용하여 원시 HTML을 JSON 또는 키-값 쌍과 같은 구조화된 출력으로 변환하는 추출 도구입니다. 페이지의 위치뿐만 아니라 사용자 지정 목표와 관련된 데이터의 의미를 이해하여 컨텍스트 인식 추출을 실행합니다.
• FIRE-1: Gemini 2.5 Pro를 사용하여 사용자 의도를 해석하고, 웹 콘텐츠를 탐색하고, 실시간 웹 데이터를 기반으로 출력을 생성하는 실험용 에이전트 프레임워크입니다.

Firecrawl은 Gemini 2.5 Pro를 도입하기 전에 여러 선도적인 모델을 평가했습니다. 다른 모델은 프로덕션 규모에서 실제 웹 콘텐츠의 복잡성과 가변성을 처리하는 데 어려움을 겪는 것으로 나타났습니다.

Firecrawl의 공동 창업자인 에릭 시알라는 'Gemini 2.5 Pro 덕분에 프로젝트 전체가 가능해졌습니다'라고 말했습니다. 'Gemini 2.5 Pro를 사용하기 전에는 테스트한 모델이 실제 웹 콘텐츠를 추출하고 추론하는 데 필요한 수준의 복잡성을 안정적으로 처리할 수 없었습니다. Gemini 2.5 Pro의 추론 기능, 정확성, 안정성 덕분에 확신을 가지고 프로젝트를 진행할 수 있었습니다."

Firecrawl은 약 1주일 만에 Gemini 2.5 Pro를 제품에 통합했습니다. 에이전트 아키텍처 내에서 모델의 추론 및 도구 호출 기능을 활용합니다.

FIRE-1 에이전트 프레임워크에서 모델은 Gemini 2.5 Pro의 추론과 결정론적 제어 흐름을 결합한 에이전트 루프 내에서 작동합니다. 프로세스는 다음과 같이 작동합니다.

• 입력: 에이전트는 웹페이지 문서 객체 모델 (DOM)과 정의된 사용자 목표 (예: '이 웹사이트의 모든 페이지를 가져와')
• 추론: Gemini 2.5 Pro가 입력을 분석하고 필요한 작업을 결정합니다.
• 실행: 모델은 도구 호출 (함수 호출)을 통해 이러한 작업을 실행합니다. 탐색 작업의 경우 에이전트가 click(next_page)과 같은 함수를 자율적으로 호출하여 필요한 데이터를 가져올 수 있습니다.

이 접근 방식을 사용하면 Firecrawl이 유연성과 예측 가능성이 모두 필요한 복잡한 웹 탐색 및 추출 작업을 처리할 수 있습니다.

추출 정확도와 복잡한 웹 파싱을 비교하는 내부 벤치마크에서 Gemini 2.5 Pro는 Firecrawl이 평가한 다른 모델보다 훨씬 뛰어난 성능을 보였습니다.

Gemini 2.5 Pro는 Firecrawl의 내부 평가에서 98% 의 정확도를 달성했습니다. 테스트한 모델 중 두 번째로 우수한 모델은 정확도가 약 80% 에 달했습니다. 이러한 성능 향상으로 인해 프로덕션 워크로드에서 추출 출력의 품질이 높아지고 에이전트 동작이 더 안정적으로 바뀌었습니다.

시아라 씨는 '내부 테스트에서 Gemini 2.5 Pro는 추출 정확도, 복잡한 추론, 지연 시간, 전체 처리량 등 사용 사례의 모든 주요 측면에서 대안보다 일관되게 우수한 성능을 보였습니다'라고 말했습니다.

이제 Gemini 모델은 Firecrawl의 AI 인프라의 기본 구성요소가 되어 AI 제품에 안정적인 웹 데이터 파이프라인을 제공할 수 있습니다.

Firecrawl은 현재 실시간 에이전트 상호작용이 중요한 매우 짧은 지연 시간 요구사항이 있는 사용 사례에 Gemini 2.5 Flash를 평가하고 있습니다. Gemini 모델 제품군이 발전함에 따라 Firecrawl은 AI 에이전트가 실제 웹 데이터와 상호작용하는 방식을 더욱 개선하기 위해 새로운 기능을 통합할 계획입니다.

자체 애플리케이션을 빌드하려면 API 문서에서 Gemini 모델의 기능을 살펴보세요.