Firecrawl использует Gemini 2.5 Pro для структурирования веб-данных для приложений искусственного интеллекта.

Приложения искусственного интеллекта, такие как системы генерации с дополненной реальностью (RAG) и автономные агенты, все чаще требуют доступа к актуальной информации из интернета. Однако веб-контент часто неструктурирован, динамичен и непоследователен, что делает надежное извлечение данных серьезной проблемой для разработчиков.

Firecrawl , платформа для работы с веб-данными, ориентированная на искусственный интеллект, предоставляет API, позволяющие разработчикам и системам ИИ программно находить, получать, анализировать и структурировать веб-данные в больших масштабах. Они абстрагируют сложность традиционного веб-скрейпинга, преобразуя неструктурированный веб-контент в чистые, пригодные для использования данные.

Для достижения этой цели Firecrawl использует Gemini 2.5 Pro в качестве основы для своего механизма извлечения данных. Модели Gemini обеспечивают расширенные возможности понимания языка и логического мышления, необходимые для точного анализа разнообразного и нестандартного веб-контента.

Firecrawl стремится сделать весь интернет доступным для систем искусственного интеллекта. Традиционные методы веб-скрейпинга, основанные на правилах, часто ненадежны и требуют постоянного обслуживания, поскольку структура веб-сайтов часто меняется. Firecrawl нуждался в решении, способном понимать контекст и надежно извлекать данные даже из источников с высокой степенью изменчивости.

Компания Firecrawl разработала два основных продукта с использованием Gemini 2.5 Pro:

• SmartScrape: Инструмент для извлечения данных, использующий возможности Gemini 2.5 Pro по пониманию языка и логическому мышлению для преобразования необработанного HTML-кода в структурированные выходные данные, такие как JSON или пары ключ-значение. Он выполняет контекстно-зависимое извлечение, понимая значение данных относительно заданных пользователем целей, а не просто их местоположение на странице.
• FIRE-1: Экспериментальная платформа для работы с агентами, использующая Gemini 2.5 Pro для интерпретации намерений пользователя, навигации по веб-контенту и генерации результатов на основе данных веб-сайта в режиме реального времени.

Компания Firecrawl интегрировала Gemini 2.5 Pro в свои продукты примерно за неделю. Они используют возможности модели по анализу данных и вызову инструментов в своей агентской архитектуре.

В агентской среде FIRE-1 модель работает в рамках агентного цикла, который сочетает в себе рассуждения Gemini 2.5 Pro с детерминированными потоками управления. Процесс работает следующим образом:

• Входные данные: Агент получает объектную модель документа (DOM) веб-страницы и заданную пользователем цель (например, «получить все страницы этого веб-сайта»).
• Логическое обоснование: Gemini 2.5 Pro анализирует входные данные и определяет необходимые действия.
• Выполнение: Модель выполняет эти действия посредством вызова инструментов (вызова функций). Для задач навигации агент может автономно вызывать такие функции, как click(next_page), для получения необходимых данных.

В ходе внутренних сравнительных тестов, оценивающих точность извлечения данных и сложность веб-анализа, Gemini 2.5 Pro значительно превзошла другие модели, протестированные Firecrawl.

В ходе внутренних оценок Firecrawl модель Gemini 2.5 Pro показала точность 98%. Следующая по результатам тестирования модель достигла примерно 80% точности. Это повышение производительности напрямую привело к улучшению качества результатов извлечения данных и более надежной работе агента в производственных условиях.

«В ходе наших внутренних тестов Gemini 2.5 Pro неизменно превосходил альтернативные решения по всем ключевым параметрам, необходимым для нашего сценария использования: точность извлечения данных, сложность вычислений, задержка и общая пропускная способность», — отметил Чиарла.

Модели Gemini теперь являются основополагающим компонентом инфраструктуры искусственного интеллекта Firecrawl, позволяя им создавать надежные конвейеры обработки веб-данных для продуктов ИИ.

В настоящее время Firecrawl оценивает Gemini 2.5 Flash для сценариев использования, требующих сверхнизкой задержки, где критически важно взаимодействие агентов в реальном времени. По мере развития семейства моделей Gemini, Firecrawl планирует интегрировать новые возможности для дальнейшего улучшения взаимодействия агентов ИИ с реальными веб-данными.

Чтобы начать разработку собственных приложений, изучите возможности моделей Gemini в нашей документации по API .