O Firecrawl usa o Gemini 2.5 Pro para estruturar dados da Web em aplicativos de IA

Os aplicativos de IA, como sistemas de geração aumentada por recuperação (RAG) e agentes autônomos, exigem cada vez mais acesso a informações da Web em tempo real. No entanto, o conteúdo da Web geralmente é não estruturado, dinâmico e inconsistente, o que torna a extração de dados confiáveis um desafio significativo para os desenvolvedores.

O Firecrawl, uma plataforma de dados da Web focada em IA, oferece APIs que permitem que desenvolvedores e sistemas de IA encontrem, busquem, analisem e estruturem dados da Web de maneira programática em grande escala. Eles abstraem a complexidade da raspagem de dados da Web tradicional, transformando conteúdo da Web não estruturado em dados limpos e utilizáveis.

Para isso, o Firecrawl usa o Gemini 2.5 Pro para alimentar o mecanismo principal de extração. Os modelos do Gemini oferecem os recursos avançados de compreensão e raciocínio de linguagem necessários para analisar com precisão conteúdo da Web diverso e irregular.

O Firecrawl tem como objetivo tornar toda a Web acessível para sistemas de IA. Os métodos tradicionais de web scraping baseados em regras costumam ser frágeis e exigem manutenção constante porque as estruturas dos sites mudam com frequência. A Firecrawl precisava de uma solução capaz de entender o contexto e extrair dados de forma confiável, mesmo de fontes altamente variáveis.

A Firecrawl desenvolveu dois produtos principais usando o Gemini 2.5 Pro:

• SmartScrape:uma ferramenta de extração que usa os recursos de compreensão e raciocínio da linguagem do Gemini 2.5 Pro para transformar HTML bruto em saídas estruturadas, como JSON ou pares de chave-valor. Ela realiza a extração com reconhecimento de contexto, entendendo o significado dos dados em relação às metas especificadas pelo usuário, em vez de apenas a localização em uma página.
• FIRE-1:um framework de agente experimental que usa o Gemini 2.5 Pro para interpretar a intenção do usuário, navegar pelo conteúdo da Web e gerar resultados com base em dados da Web em tempo real.

Antes de adotar o Gemini 2.5 Pro, a Firecrawl avaliou vários modelos líderes. Eles descobriram que outros modelos tinham dificuldade em lidar com a complexidade e a variabilidade do conteúdo da Web no mundo real em escala de produção.

"O Gemini 2.5 Pro tornou todo o projeto viável", disse Eric Ciarla, cofundador da Firecrawl. "Antes de usar o Gemini 2.5 Pro, os modelos que testamos não conseguiam lidar de forma confiável com o nível de complexidade necessário para extrair e analisar conteúdo da Web do mundo real. As capacidades de raciocínio, a acurácia e a estabilidade do Gemini 2.5 Pro nos permitiram avançar com confiança".

A Firecrawl integrou o Gemini 1.5 Pro aos produtos em aproximadamente uma semana. Eles aproveitam os recursos de raciocínio e chamada de ferramentas do modelo na arquitetura do agente.

No framework de agente FIRE-1, o modelo opera em um loop de agente que combina o raciocínio do Gemini 2.5 Pro com fluxos de controle determinísticos. O processo funciona da seguinte maneira:

• Entrada:o agente recebe o Modelo de objeto de documento (DOM) da página da Web e uma meta definida do usuário (por exemplo, "me mostre todas as páginas deste site").
• Raciocínio:o Gemini 2.5 Pro analisa as entradas e determina as ações necessárias.
• Execução:o modelo executa essas ações usando a chamada de ferramentas (chamadas de função). Para tarefas de navegação, o agente pode invocar de forma autônoma funções como click(next_page) para recuperar os dados necessários.

Essa abordagem permite que o Firecrawl processe tarefas complexas de navegação e extração da Web que exigem flexibilidade e previsibilidade.

Em comparativos internos que comparam a acurácia da extração e a análise complexa da Web, o Gemini 2.5 Pro teve uma performance muito melhor do que outros modelos avaliados pelo Firecrawl.

O Gemini 2.5 Pro atingiu 98% de acurácia nas avaliações internas do Firecrawl. O próximo melhor modelo testado atingiu aproximadamente 80% de acurácia. Esse aumento de desempenho se traduziu diretamente em saídas de extração de maior qualidade e comportamento mais confiável do agente em cargas de trabalho de produção.

"Nos nossos testes internos, o Gemini 2.5 Pro superou consistentemente as alternativas em todas as dimensões principais do nosso caso de uso: precisão de extração, raciocínio complexo, latência e taxa de transferência geral", observou Ciarla.

Os modelos do Gemini agora são um componente fundamental da infraestrutura de IA da Firecrawl, permitindo que ela ofereça pipelines de dados da Web confiáveis para produtos de IA.

No momento, o Firecrawl está avaliando o Gemini 2.5 Flash para casos de uso que exigem latência ultrabaixa, em que a interação de agente em tempo real é essencial. À medida que a família de modelos Gemini evolui, o Firecrawl planeja integrar novos recursos para melhorar ainda mais a interação dos agentes de IA com dados da Web do mundo real.

Para começar a criar seus próprios aplicativos, confira os recursos dos modelos do Gemini na nossa documentação da API.