Firecrawl использует Gemini 2.5 Pro для структурирования веб-данных для приложений ИИ

Приложения ИИ, такие как системы генерации дополненной реальности (RAG) и автономные агенты, всё чаще требуют доступа к актуальной информации из интернета. Однако веб-контент часто неструктурирован, динамичен и непоследователен, что делает надёжное извлечение данных серьёзной проблемой для разработчиков.

Firecrawl, платформа веб-данных, ориентированная на искусственный интеллект, предоставляет API, которые позволяют разработчикам и системам искусственного интеллекта программно находить, извлекать, анализировать и структурировать веб-данные в любом масштабе. Они абстрагируются от сложностей традиционного веб-скрапинга, преобразуя неструктурированный веб-контент в чистые, пригодные для использования данные.

Для этого Firecrawl использует Gemini 2.5 Pro в качестве основного инструмента извлечения. Модели Gemini обеспечивают расширенные возможности понимания языка и логического мышления, необходимые для точного анализа разнообразного и нестандартного веб-контента.

Firecrawl стремится сделать весь интернет доступным для систем искусственного интеллекта. Традиционные методы веб-скрапинга, основанные на правилах, часто нестабильны и требуют постоянного обслуживания, поскольку структура веб-сайтов часто меняется. Firecrawl требовалось решение, способное распознавать контекст и надёжно извлекать данные даже из самых разных источников.

Firecrawl разработала два основных продукта с использованием Gemini 2.5 Pro:

• SmartScrape: инструмент извлечения, использующий возможности Gemini 2.5 Pro по пониманию и анализу языка для преобразования необработанного HTML-кода в структурированные выходные данные, такие как JSON или пары «ключ-значение». Он выполняет извлечение с учётом контекста, анализируя значение данных относительно указанных пользователем целей, а не только их расположение на странице.
• FIRE-1: экспериментальная агентская структура, которая использует Gemini 2.5 Pro для интерпретации намерений пользователя, навигации по веб-контенту и генерации результатов на основе реальных веб-данных.

Firecrawl интегрировали Gemini 2.5 Pro в свои продукты примерно за неделю. Они используют возможности логического мышления и вызова инструментов модели в архитектуре своего агента.

В агентной среде FIRE-1 модель работает в рамках агентного цикла, который сочетает в себе алгоритмы рассуждений Gemini 2.5 Pro с детерминированными потоками управления. Процесс работает следующим образом:

• Входные данные: агент получает объектную модель документа (DOM) веб-страницы и определенную цель пользователя (например, «получить все страницы этого веб-сайта»).
• Рассуждение: Gemini 2.5 Pro анализирует входные данные и определяет необходимые действия.
• Выполнение: модель выполняет эти действия посредством вызова инструментов (вызовов функций). Для задач навигации агент может автономно вызывать функции, такие как click(next_page), для получения необходимых данных.

Во внутренних тестах, сравнивающих точность извлечения и сложный веб-анализ, Gemini 2.5 Pro значительно превзошел другие модели, оцениваемые Firecrawl.

Gemini 2.5 Pro достигла точности 98% по внутренним оценкам Firecrawl. Следующая по точности протестированная модель достигла точности около 80%. Этот рост производительности напрямую повлиял на качество результатов извлечения и более надёжное поведение агентов в производственных рабочих нагрузках.

«В ходе нашего внутреннего тестирования Gemini 2.5 Pro стабильно превосходил альтернативные решения по всем ключевым параметрам для нашего варианта использования: точность извлечения, сложность рассуждений, задержка и общая пропускная способность», — отметил Чиарла.

Модели Gemini теперь являются основополагающим компонентом инфраструктуры искусственного интеллекта Firecrawl, позволяя им предоставлять надежные веб-каналы данных для продуктов искусственного интеллекта.

В настоящее время Firecrawl тестирует Gemini 2.5 Flash для сценариев, требующих сверхнизкой задержки, где взаимодействие с агентами в режиме реального времени критически важно. По мере развития семейства моделей Gemini Firecrawl планирует интегрировать новые возможности для дальнейшего улучшения взаимодействия ИИ-агентов с реальными веб-данными.

Чтобы приступить к созданию собственных приложений, изучите возможности моделей Gemini в нашей документации по API .