Firecrawl, एआई ऐप्लिकेशन के लिए वेब डेटा को व्यवस्थित करने के लिए Gemini 2.5 Pro का इस्तेमाल करता है

एआई ऐप्लिकेशन को वेब से लाइव और असल दुनिया की जानकारी का ऐक्सेस चाहिए. जैसे, रीट्रिवल-ऑगमेंटेड जनरेशन (आरएजी) सिस्टम और ऑटोनॉमस एजेंट. हालांकि, वेब कॉन्टेंट अक्सर अनस्ट्रक्चर्ड, डाइनैमिक, और अलग-अलग तरह का होता है. इसलिए, डेवलपर के लिए भरोसेमंद डेटा निकालना एक बड़ी चुनौती होती है.

Firecrawl, एआई पर आधारित एक वेब डेटा प्लैटफ़ॉर्म है. यह ऐसे एपीआई उपलब्ध कराता है जिनकी मदद से डेवलपर और एआई सिस्टम, वेब डेटा को बड़े पैमाने पर प्रोग्राम के हिसाब से ढूंढ सकते हैं, फ़ेच कर सकते हैं, पार्स कर सकते हैं, और स्ट्रक्चर कर सकते हैं. ये टूल, वेब स्क्रैपिंग की मुश्किल प्रोसेस को आसान बनाते हैं. साथ ही, वेब पर मौजूद बिना स्ट्रक्चर वाले कॉन्टेंट को साफ़ और इस्तेमाल किए जा सकने वाले डेटा में बदलते हैं.

इसके लिए, Firecrawl अपने मुख्य एक्सट्रैक्शन इंजन को बेहतर बनाने के लिए, Gemini 2.5 Pro का इस्तेमाल करता है. Gemini के मॉडल, भाषा को समझने और गहराई से विश्लेषण करने की बेहतर क्षमताएं उपलब्ध कराते हैं. इनसे अलग-अलग तरह के वेब कॉन्टेंट को सटीक तरीके से पार्स करने में मदद मिलती है.

Firecrawl का मकसद, पूरे वेब को एआई सिस्टम के लिए ऐक्सेस किया जा सकने वाला बनाना है. नियमों पर आधारित वेब स्क्रैपिंग के पारंपरिक तरीके अक्सर भरोसेमंद नहीं होते. साथ ही, इनमें लगातार रखरखाव की ज़रूरत होती है, क्योंकि वेबसाइट के स्ट्रक्चर अक्सर बदलते रहते हैं. Firecrawl को एक ऐसे समाधान की ज़रूरत थी जो कॉन्टेक्स्ट को समझ सके और भरोसेमंद तरीके से डेटा निकाल सके. भले ही, डेटा अलग-अलग सोर्स से लिया गया हो.

Firecrawl ने Gemini 2.5 Pro का इस्तेमाल करके दो मुख्य प्रॉडक्ट बनाए हैं:

• SmartScrape: यह डेटा निकालने वाला टूल है. यह Gemini 2.5 Pro की भाषा समझने और तर्क करने की क्षमताओं का इस्तेमाल करके, रॉ एचटीएमएल को स्ट्रक्चर्ड आउटपुट में बदलता है. जैसे, JSON या कुंजी-वैल्यू पेयर. यह कॉन्टेक्स्ट के हिसाब से जानकारी निकालता है. साथ ही, यह पेज पर डेटा की जगह के बजाय, उपयोगकर्ता के तय किए गए लक्ष्यों के हिसाब से डेटा का मतलब समझता है.
• FIRE-1: यह एक्सपेरिमेंट के तौर पर उपलब्ध एजेंट फ़्रेमवर्क है. यह Gemini 2.5 Pro का इस्तेमाल करके, उपयोगकर्ता के इरादे को समझता है, वेब कॉन्टेंट को नेविगेट करता है, और लाइव वेब डेटा के आधार पर आउटपुट जनरेट करता है.

Gemini 2.5 Pro को अपनाने से पहले, Firecrawl ने कई बेहतरीन मॉडल का आकलन किया. उन्होंने पाया कि अन्य मॉडल, प्रोडक्शन स्केल पर असली दुनिया के वेब कॉन्टेंट की जटिलता और बदलावों को मैनेज करने में मुश्किलों का सामना करते हैं.

Firecrawl के सह-संस्थापक, एरिक सिएर्ला ने कहा, "Gemini 2.5 Pro की वजह से, पूरे प्रोजेक्ट को पूरा करना मुमकिन हो पाया." "Gemini 2.5 Pro का इस्तेमाल करने से पहले, हमने जिन मॉडल को टेस्ट किया था वे वेब पर मौजूद कॉन्टेंट से जानकारी निकालने और उस पर तर्क करने के लिए, ज़रूरी जटिलता को भरोसेमंद तरीके से हैंडल नहीं कर सके. Gemini 2.5 Pro की तर्क करने की क्षमता, सटीक जवाब देने की क्षमता, और स्थिरता की वजह से, हम कॉन्फ़िडेंस के साथ आगे बढ़ पाए."

Firecrawl ने Gemini 2.5 Pro को अपने प्रॉडक्ट में करीब एक हफ़्ते में इंटिग्रेट कर लिया. ये अपने एजेंट आर्किटेक्चर में, मॉडल की तर्क करने और टूल कॉल करने की क्षमताओं का इस्तेमाल करते हैं.

FIRE-1 एजेंट फ़्रेमवर्क में, मॉडल एक एजेंट लूप के अंदर काम करता है. यह लूप, Gemini 2.5 Pro की तर्क क्षमता को कंट्रोल फ़्लो के साथ जोड़ता है. यह प्रोसेस इस तरह काम करती है:

• इनपुट: एजेंट को वेबपेज का दस्तावेज़ ऑब्जेक्ट मॉडल (डीओएम) और उपयोगकर्ता का तय किया गया लक्ष्य मिलता है. जैसे, "मुझे इस वेबसाइट के सभी पेज दिखाओ").
• वजह: Gemini 2.5 Pro, इनपुट का विश्लेषण करता है और ज़रूरी कार्रवाइयों का पता लगाता है.
• कार्रवाई करना: मॉडल, टूल कॉलिंग (फ़ंक्शन कॉल) के ज़रिए इन कार्रवाइयों को पूरा करता है. नेविगेशन से जुड़े टास्क के लिए, एजेंट अपने-आप फ़ंक्शन चालू कर सकता है. जैसे, ज़रूरी डेटा पाने के लिए click(next_page) फ़ंक्शन चालू करना.

इस तरीके से, Firecrawl को वेब नेविगेशन और डेटा निकालने जैसे मुश्किल टास्क को हैंडल करने में मदद मिलती है. इन टास्क के लिए, फ़्लेक्सिबिलिटी और अनुमान लगाने की क्षमता, दोनों ज़रूरी होती हैं.

इंटरनल बेंचमार्क में, Gemini 2.5 Pro ने जानकारी निकालने की सटीक क्षमता और जटिल वेब पार्सिंग के मामले में, Firecrawl के अन्य मॉडल से बेहतर परफ़ॉर्म किया.

Firecrawl के इंटरनल आकलन में, Gemini 2.5 Pro ने 98% सटीकता हासिल की है. टेस्ट किए गए दूसरे सबसे अच्छे मॉडल की सटीकता करीब 80% थी. परफ़ॉर्मेंस में हुई इस बढ़ोतरी से, एक्सट्रैक्शन के बेहतर नतीजे मिले. साथ ही, प्रोडक्शन वर्कलोड में एजेंट के व्यवहार को ज़्यादा भरोसेमंद बनाया जा सका.

सिएर्ला ने कहा, "हमने इंटरनल टेस्टिंग में पाया कि Gemini 2.5 Pro, हमारे इस्तेमाल के उदाहरण के लिए हर मुख्य डाइमेंशन में अन्य मॉडल से बेहतर परफ़ॉर्म करता है. जैसे, जानकारी निकालने की सटीक क्षमता, जटिल तर्क, लेटेन्सी, और कुल थ्रूपुट."

Gemini मॉडल अब Firecrawl के एआई इन्फ़्रास्ट्रक्चर का एक बुनियादी हिस्सा हैं. इससे, वे एआई प्रॉडक्ट के लिए भरोसेमंद वेब डेटा पाइपलाइन उपलब्ध करा पाते हैं.

फ़िलहाल, Firecrawl ऐसे इस्तेमाल के उदाहरणों के लिए Gemini 2.5 Flash का आकलन कर रहा है जिनमें बहुत कम समय में जवाब देने की ज़रूरत होती है. साथ ही, रीयल-टाइम में एजेंट के साथ इंटरैक्शन करना ज़रूरी होता है. Gemini मॉडल फ़ैमिली के बेहतर होने के साथ-साथ, Firecrawl नई क्षमताओं को इंटिग्रेट करने का प्लान बना रहा है. इससे एआई एजेंट, वेब पर मौजूद असल डेटा के साथ बेहतर तरीके से इंटरैक्ट कर पाएंगे.

अपने ऐप्लिकेशन बनाना शुरू करने के लिए, हमारे एपीआई के दस्तावेज़ में Gemini मॉडल की क्षमताओं के बारे में जानें.