Firecrawl usa Gemini 2.5 Pro para estructurar datos web para aplicaciones de IA

Las aplicaciones de IA, como los sistemas de generación mejorada por recuperación (RAG) y los agentes autónomos, requieren cada vez más acceso a información en tiempo real del mundo real desde la Web. Sin embargo, el contenido web suele ser no estructurado, dinámico y coherente, lo que hace que la extracción de datos confiable sea un desafío importante para los desarrolladores.

Firecrawl, una plataforma de datos web centrada en la IA, proporciona APIs que permiten a los desarrolladores y a los sistemas de IA encontrar, recuperar, analizar y estructurar datos web de forma programática a gran escala. Abstraen la complejidad del scraping web tradicional y transforman el contenido web no estructurado en datos limpios y utilizables.

Para lograrlo, Firecrawl usa Gemini 2.5 Pro para potenciar su motor de extracción principal. Los modelos de Gemini proporcionan las capacidades avanzadas de comprensión y razonamiento del lenguaje necesarias para analizar con precisión el contenido web diverso e irregular.

El objetivo de Firecrawl es hacer que toda la Web sea accesible para los sistemas de IA. Los métodos tradicionales de extracción de datos web basados en reglas suelen ser frágiles y requieren un mantenimiento constante, ya que las estructuras de los sitios web cambian con frecuencia. Firecrawl necesitaba una solución capaz de comprender el contexto y extraer datos de forma confiable, incluso de fuentes muy variables.

Firecrawl desarrolló dos productos principales con Gemini 2.5 Pro:

• SmartScrape: Es una herramienta de extracción que usa las capacidades de comprensión del lenguaje y razonamiento de Gemini 2.5 Pro para transformar el código HTML sin procesar en resultados estructurados, como JSON o pares clave-valor. Realiza una extracción basada en el contexto, ya que comprende el significado de los datos en relación con los objetivos especificados por el usuario, en lugar de solo su ubicación en una página.
• FIRE-1: Es un framework de agentes experimental que usa Gemini 2.5 Pro para interpretar la intención del usuario, navegar por el contenido web y generar resultados basados en datos web en tiempo real.

Antes de adoptar Gemini 2.5 Pro, Firecrawl evaluó varios modelos líderes. Descubrieron que otros modelos tenían dificultades para manejar la complejidad y la variabilidad del contenido web del mundo real a escala de producción.

"Gemini 2.5 Pro hizo que todo el proyecto fuera factible", dijo Eric Ciarla, cofundador de Firecrawl. "Antes de usar Gemini 2.5 Pro, los modelos que probamos no podían manejar de manera confiable el nivel de complejidad necesario para extraer y razonar sobre el contenido web del mundo real. Las capacidades de razonamiento, la precisión y la estabilidad de Gemini 2.5 Pro nos permitieron avanzar con confianza".

Firecrawl integró Gemini 2.5 Pro en sus productos en aproximadamente una semana. Aprovechan las capacidades de razonamiento y de llamada a herramientas del modelo dentro de la arquitectura de su agente.

En el framework de agentes FIRE-1, el modelo opera dentro de un bucle de agentes que combina el razonamiento de Gemini 2.5 Pro con flujos de control determinísticos. El proceso funciona de la siguiente manera:

• Entrada: El agente recibe el Modelo de objetos del documento (DOM) de la página web y un objetivo del usuario definido (p.ej., "Muéstrame todas las páginas de este sitio web").
• Razonamiento: Gemini 2.5 Pro analiza las entradas y determina las acciones necesarias.
• Ejecución: El modelo ejecuta estas acciones a través de llamadas a herramientas (llamadas a funciones). Para las tareas de navegación, el agente puede invocar de forma autónoma funciones como click(next_page) para recuperar los datos necesarios.

Este enfoque permite que Firecrawl controle tareas complejas de navegación y extracción web que requieren flexibilidad y previsibilidad.

En las comparativas internas que comparan la precisión de la extracción y el análisis complejo de la Web, Gemini 2.5 Pro superó significativamente a otros modelos que evaluó Firecrawl.

Gemini 2.5 Pro alcanzó una precisión del 98% en las evaluaciones internas de Firecrawl. El siguiente mejor modelo probado alcanzó una precisión de aproximadamente el 80%. Este aumento en el rendimiento se tradujo directamente en resultados de extracción de mayor calidad y un comportamiento más confiable del agente en las cargas de trabajo de producción.

"En nuestras pruebas internas, Gemini 2.5 Pro superó de forma constante a las alternativas en todas las dimensiones clave de nuestro caso de uso: precisión de la extracción, razonamiento complejo, latencia y rendimiento general", señaló Ciarla.

Los modelos de Gemini ahora son un componente fundamental de la infraestructura de IA de Firecrawl, lo que les permite proporcionar canalizaciones de datos web confiables para los productos de IA.

Actualmente, Firecrawl está evaluando Gemini 2.5 Flash para casos de uso que requieren latencia ultrabaja, en los que la interacción con agentes en tiempo real es fundamental. A medida que evoluciona la familia de modelos de Gemini, Firecrawl planea integrar nuevas capacidades para mejorar aún más la forma en que los agentes de IA interactúan con los datos web del mundo real.

Para comenzar a crear tus propias aplicaciones, explora las capacidades de los modelos de Gemini en nuestra documentación de la API.