Firecrawl, एआई ऐप्लिकेशन के लिए वेब डेटा को स्ट्रक्चर करने के लिए Gemini 2.5 Pro का इस्तेमाल करता है

एआई ऐप्लिकेशन को वेब से लाइव और असल दुनिया की जानकारी ऐक्सेस करने की ज़रूरत होती है. जैसे, जानकारी खोजने और जनरेट करने वाले (आरएजी) सिस्टम और ऑटोनॉमस एजेंट. हालांकि, वेब कॉन्टेंट अक्सर अनस्ट्रक्चर्ड, डाइनैमिक, और अलग-अलग तरह का होता है. इसलिए, डेवलपर के लिए भरोसेमंद डेटा निकालना एक बड़ी चुनौती होती है.

Firecrawl, एआई पर आधारित वेब डेटा प्लैटफ़ॉर्म है. यह ऐसे एपीआई उपलब्ध कराता है जिनकी मदद से डेवलपर और एआई सिस्टम, वेब डेटा को बड़े पैमाने पर प्रोग्राम के हिसाब से ढूंढ सकते हैं, फ़ेच कर सकते हैं, पार्स कर सकते हैं, और स्ट्रक्चर कर सकते हैं. ये टूल, वेब स्क्रैपिंग की जटिलता को कम करते हैं. साथ ही, वेब पर मौजूद बिना स्ट्रक्चर वाले कॉन्टेंट को साफ़ और इस्तेमाल किए जा सकने वाले डेटा में बदलते हैं.

इसके लिए, Firecrawl अपने मुख्य एक्सट्रैक्शन इंजन को बेहतर बनाने के लिए, Gemini 2.5 Pro का इस्तेमाल करता है. Gemini के मॉडल, भाषा को बेहतर तरीके से समझने और गहराई से विश्लेषण करने की क्षमता रखते हैं. इससे अलग-अलग तरह के वेब कॉन्टेंट को सटीक तरीके से पार्स किया जा सकता है.

Firecrawl का मकसद, पूरे वेब को एआई सिस्टम के लिए ऐक्सेस किया जा सकने वाला बनाना है. नियमों पर आधारित वेब स्क्रैपिंग के पारंपरिक तरीके अक्सर कमज़ोर होते हैं. साथ ही, वेबसाइट के स्ट्रक्चर में अक्सर बदलाव होने की वजह से, इन्हें लगातार अपडेट करते रहना पड़ता है. Firecrawl को एक ऐसे समाधान की ज़रूरत थी जो कॉन्टेक्स्ट को समझ सके और भरोसेमंद तरीके से डेटा निकाल सके. भले ही, डेटा अलग-अलग सोर्स से लिया गया हो.

Firecrawl ने Gemini 2.5 Pro का इस्तेमाल करके दो मुख्य प्रॉडक्ट बनाए हैं:

• SmartScrape: यह डेटा निकालने वाला टूल है. यह Gemini 2.5 Pro की भाषा समझने और तर्क करने की क्षमताओं का इस्तेमाल करके, रॉ एचटीएमएल को स्ट्रक्चर्ड आउटपुट में बदलता है. जैसे, JSON या कुंजी-वैल्यू पेयर. यह कॉन्टेक्स्ट के हिसाब से जानकारी निकालता है. साथ ही, यह पेज पर डेटा की जगह के बजाय, उपयोगकर्ता के तय किए गए लक्ष्यों के हिसाब से डेटा का मतलब समझता है.
• FIRE-1: यह एक्सपेरिमेंट के तौर पर उपलब्ध एजेंट फ़्रेमवर्क है. यह Gemini 2.5 Pro का इस्तेमाल करके, उपयोगकर्ता के इरादे को समझता है, वेब कॉन्टेंट को नेविगेट करता है, और वेब पर मौजूद लाइव डेटा के आधार पर आउटपुट जनरेट करता है.

Gemini 2.5 Pro को अपनाने से पहले, Firecrawl ने कई बेहतरीन मॉडल का आकलन किया. उन्होंने पाया कि अन्य मॉडल, प्रोडक्शन स्केल पर असली दुनिया के वेब कॉन्टेंट की जटिलता और बदलावों को मैनेज करने में मुश्किलों का सामना करते हैं.

Firecrawl के सह-संस्थापक, एरिक सियर्ला ने कहा, "Gemini 2.5 Pro की वजह से, पूरे प्रोजेक्ट को पूरा करना मुमकिन हो पाया." "Gemini 2.5 Pro का इस्तेमाल करने से पहले, हमने जिन मॉडल को टेस्ट किया था वे वेब पर मौजूद कॉन्टेंट से जानकारी निकालने और उस पर तर्क करने के लिए, ज़रूरी जटिलता को भरोसेमंद तरीके से हैंडल नहीं कर सके. Gemini 2.5 Pro में तर्क करने, सटीक जवाब देने, और भरोसेमंद तरीके से काम करने की क्षमता है. इसलिए, हम कॉन्फ़िडेंस के साथ आगे बढ़ पाए."

Firecrawl ने Gemini 2.5 Pro को अपने प्रॉडक्ट में करीब एक हफ़्ते में इंटिग्रेट कर लिया. ये अपने एजेंट आर्किटेक्चर में, मॉडल की तर्क करने और टूल कॉल करने की क्षमताओं का इस्तेमाल करते हैं.

FIRE-1 एजेंट फ़्रेमवर्क में, मॉडल एक एजेंट लूप के अंदर काम करता है. यह लूप, Gemini 2.5 Pro की तार्किक क्षमता को कंट्रोल फ़्लो के साथ जोड़ता है. यह प्रोसेस इस तरह काम करती है:

• इनपुट: एजेंट को वेबपेज का दस्तावेज़ ऑब्जेक्ट मॉडल (डीओएम) और उपयोगकर्ता का तय किया गया लक्ष्य मिलता है. उदाहरण के लिए, "मुझे इस वेबसाइट के सभी पेज दिखाओ").
• वजह: Gemini 2.5 Pro, इनपुट का विश्लेषण करता है और ज़रूरी कार्रवाइयों का पता लगाता है.
• कार्रवाई करना: मॉडल, टूल कॉलिंग (फ़ंक्शन कॉल) के ज़रिए इन कार्रवाइयों को पूरा करता है. नेविगेशन से जुड़े टास्क के लिए, एजेंट ज़रूरी डेटा पाने के लिए, क्लिक(next_page) जैसे फ़ंक्शन अपने-आप चालू कर सकता है.

इस तरीके से, Firecrawl को वेब नेविगेशन और डेटा निकालने जैसे मुश्किल काम करने में मदद मिलती है. इन कामों के लिए, फ़्लेक्सिबिलिटी और अनुमान लगाने की क्षमता, दोनों की ज़रूरत होती है.

डेटा निकालने की सटीक क्षमता और मुश्किल वेब पार्सिंग की तुलना करने वाले इंटरनल बेंचमार्क में, Gemini 2.5 Pro ने Firecrawl के आकलन किए गए अन्य मॉडल से बेहतर परफ़ॉर्म किया.

Firecrawl के इंटरनल आकलन में, Gemini 2.5 Pro ने 98% सटीकता हासिल की है. टेस्ट किए गए दूसरे सबसे अच्छे मॉडल की सटीकता करीब 80% थी. परफ़ॉर्मेंस में हुई इस बढ़ोतरी से, एक्सट्रैक्शन के बेहतर नतीजे मिले. साथ ही, प्रोडक्शन वर्कलोड में एजेंट के व्यवहार में ज़्यादा भरोसेमंद तरीके से काम करने की क्षमता बढ़ी.

सिएर्ला ने कहा, "हमने इंटरनल टेस्टिंग में पाया कि Gemini 2.5 Pro, हमारे इस्तेमाल के उदाहरण के लिए हर मुख्य डाइमेंशन में, अन्य विकल्पों से बेहतर परफ़ॉर्म करता है: जानकारी निकालने की सटीकता, जटिल तर्क, लेटेन्सी, और कुल थ्रूपुट."

Gemini मॉडल अब Firecrawl के एआई इन्फ़्रास्ट्रक्चर का एक बुनियादी हिस्सा हैं. इससे, वे एआई प्रॉडक्ट के लिए भरोसेमंद वेब डेटा पाइपलाइन उपलब्ध करा पाते हैं.

फ़िलहाल, Firecrawl ऐसे इस्तेमाल के उदाहरणों के लिए Gemini 2.5 Flash का आकलन कर रहा है जिनमें बहुत कम समय में जवाब देने की ज़रूरत होती है. साथ ही, रीयल-टाइम में एजेंट के साथ इंटरैक्शन करना ज़रूरी होता है. Gemini मॉडल फ़ैमिली के बेहतर होने के साथ-साथ, Firecrawl नई क्षमताओं को इंटिग्रेट करने का प्लान बना रहा है. इससे एआई एजेंट, वेब पर मौजूद असल डेटा के साथ बेहतर तरीके से इंटरैक्ट कर पाएंगे.

अपने ऐप्लिकेशन बनाना शुरू करने के लिए, हमारे एपीआई के दस्तावेज़ में जाकर, Gemini मॉडल की क्षमताओं के बारे में जानें.