Firecrawl, yapay zeka uygulamaları için web verilerini yapılandırmak üzere Gemini 2.5 Pro'yu kullanıyor

Alma destekli üretim (RAG) sistemleri ve otonom aracılar gibi yapay zeka uygulamaları, web'deki canlı ve gerçek dünya bilgilerine erişimi giderek daha fazla gerektiriyor. Ancak web içeriği genellikle yapılandırılmamış, dinamik ve tutarsız olduğundan geliştiriciler için güvenilir veri ayıklama önemli bir zorluktur.

Yapay zeka öncelikli bir web verileri platformu olan Firecrawl, geliştiricilerin ve yapay zeka sistemlerinin web verilerini programatik olarak bulmasına, getirmesine, ayrıştırmasına ve ölçekli olarak yapılandırmasına olanak tanıyan API'ler sunar. Geleneksel web kazıma işleminin karmaşıklığını ortadan kaldırarak yapılandırılmamış web içeriğini temiz ve kullanılabilir verilere dönüştürürler.

Bunu sağlamak için Firecrawl, temel çıkarma motorunu desteklemek üzere Gemini 2.5 Pro'yu kullanır. Gemini modelleri, çeşitli ve düzensiz web içeriklerini doğru şekilde ayrıştırmak için gereken gelişmiş dil anlama ve akıl yürütme özelliklerini sağlar.

Firecrawl, tüm web'in yapay zeka sistemleri için erişilebilir olmasını amaçlar. Geleneksel kural tabanlı web kazıma yöntemleri, web sitesi yapıları sık sık değiştiği için genellikle hassastır ve sürekli bakım gerektirir. Firecrawl, bağlamı anlayabilen ve çok değişken kaynaklardan bile verileri güvenilir bir şekilde çıkarabilen bir çözüme ihtiyaç duyuyordu.

Firecrawl, Gemini 2.5 Pro'yu kullanarak iki temel ürün geliştirdi:

• SmartScrape: Ham HTML'yi JSON veya anahtar-değer çiftleri gibi yapılandırılmış çıkışlara dönüştürmek için Gemini 2.5 Pro'nun dil anlama ve muhakeme özelliklerini kullanan bir ayıklama aracıdır. Yalnızca bir sayfadaki konumunu değil, kullanıcı tarafından belirtilen hedeflere göre verilerin anlamını anlayarak bağlama duyarlı ayıklama gerçekleştirir.
• FIRE-1: Kullanıcı amacını yorumlamak, web içeriğinde gezinmek ve canlı web verilerine dayalı çıkışlar oluşturmak için Gemini 2.5 Pro'yu kullanan deneysel bir aracı çerçevesi.

Firecrawl, Gemini 2.5 Pro'yu kullanmaya başlamadan önce çeşitli önde gelen modelleri değerlendirdi. Diğer modellerin, üretim ölçeğinde gerçek dünyadaki web içeriklerinin karmaşıklığı ve değişkenliğiyle başa çıkmakta zorlandığını tespit ettiler.

Firecrawl'un kurucu ortağı Eric Ciarla,"Gemini 2.5 Pro, projenin tamamını uygulanabilir hale getirdi" diyor. "Gemini 2.5 Pro'yu kullanmadan önce, test ettiğimiz modeller gerçek dünyadaki web içeriklerini ayıklamak ve bunlar üzerinde akıl yürütmek için gereken karmaşıklık düzeyini güvenilir bir şekilde yönetemiyordu. Gemini 2.5 Pro'nun akıl yürütme yetenekleri, doğruluğu ve kararlılığı sayesinde güvenle ilerleyebildik."

Firecrawl, Gemini 2.5 Pro'yu yaklaşık bir hafta içinde ürünlerine entegre etti. Modelin akıl yürütme ve araç çağırma özelliklerinden yararlanırlar.

Model, FIRE-1 temsilci çerçevesinde Gemini 2.5 Pro'nun akıl yürütme özelliğini deterministik kontrol akışlarıyla birleştiren bir temsilci döngüsünde çalışır. Süreç şu şekilde işler:

• Giriş: Aracı, web sayfası Belge Nesne Modeli'ni (DOM) ve tanımlanmış bir kullanıcı hedefini (ör. "get me all the pages on this website" [Bu web sitesindeki tüm sayfaları göster]).
• Gerekçe: Gemini 2.5 Pro, girişleri analiz eder ve gerekli işlemleri belirler.
• Yürütme: Model, bu işlemleri araç çağrısı (işlev çağrıları) aracılığıyla yürütür. Gezinme görevleri için aracı, gerekli verileri almak üzere click(next_page) gibi işlevleri bağımsız olarak çağırabilir.

Bu yaklaşım, Firecrawl'ın hem esneklik hem de tahmin edilebilirlik gerektiren karmaşık web'de gezinme ve ayıklama görevlerini işlemesine olanak tanır.

Gemini 2.5 Pro, Firecrawl'un değerlendirdiği diğer modelleri, çıkarma doğruluğu ve karmaşık web ayrıştırması karşılaştıran dahili karşılaştırma testlerinde önemli ölçüde geride bıraktı.

Gemini 2.5 Pro, Firecrawl'un dahili değerlendirmelerinde% 98 doğruluk elde etti. Test edilen en iyi ikinci model yaklaşık% 80 doğruluk oranına ulaştı. Performanstaki bu artış, doğrudan daha yüksek kaliteli ayıklama çıktıları ve üretim iş yüklerinde daha güvenilir aracı davranışıyla sonuçlandı.

Ciarla, "Dahili testlerimizde Gemini 2.5 Pro, kullanım alanımızla ilgili her önemli boyutta (çıkarma doğruluğu, karmaşık akıl yürütme, gecikme ve genel işleme hızı) alternatiflerinden sürekli olarak daha iyi performans gösterdi" dedi.

Gemini modelleri artık Firecrawl'un yapay zeka altyapısının temel bir bileşeni olarak yapay zeka ürünleri için güvenilir web veri ardışık düzenleri sağlamasına olanak tanıyor.

Firecrawl, şu anda gerçek zamanlı temsilci etkileşiminin kritik olduğu ve ultra düşük gecikme gerektiren kullanım alanları için Gemini 2.5 Flash'ı değerlendiriyor. Gemini model ailesi geliştikçe Firecrawl, yapay zeka aracıların gerçek dünyadaki web verileriyle etkileşimini daha da iyileştirmek için yeni özellikleri entegre etmeyi planlıyor.

Kendi uygulamalarınızı oluşturmaya başlamak için API belgelerimizde Gemini modellerinin özelliklerini inceleyin.