‫Firecrawl משתמש ב-Gemini 2.5 Pro כדי לבנות נתונים מהאינטרנט עבור אפליקציות AI

יישומים של AI, כמו מערכות ליצירת טקסט עם אחזור מידע (RAG) וסוכנים אוטונומיים, דורשים יותר ויותר גישה למידע עדכני מהאינטרנט. עם זאת, תוכן באינטרנט הוא לרוב לא מובנה, דינמי ולא עקבי, ולכן חילוץ נתונים אמין הוא אתגר משמעותי למפתחים.

‫Firecrawl, פלטפורמה לנתוני אינטרנט שמבוססת על AI, מספקת ממשקי API שמאפשרים למפתחים ולמערכות AI למצוא, לאחזר, לנתח ולבנות נתוני אינטרנט באופן פרוגרמטי בהיקף נרחב. הם מפשטים את המורכבות של גירוד נתונים מסורתי, ומשנים תוכן לא מובנה באינטרנט לנתונים נקיים ושימושיים.

כדי להשיג את זה, Firecrawl משתמשת ב-Gemini 2.5 Pro כדי להפעיל את מנוע החילוץ המרכזי שלה. מודלים של Gemini מספקים את יכולות ההבנה הלשונית והחשיבה המתקדמות שנדרשות כדי לנתח במדויק תוכן מגוון ולא סדיר באינטרנט.

המטרה של Firecrawl היא להפוך את כל האינטרנט לנגיש למערכות AI. שיטות מסורתיות של גירוד נתונים באינטרנט שמבוססות על כללים הן לרוב שבירות ודורשות תחזוקה מתמדת, כי מבני האתרים משתנים לעיתים קרובות. חברת Firecrawl הייתה צריכה פתרון שיכול להבין הקשר ולהפיק נתונים בצורה מהימנה, גם ממקורות עם שונות גבוהה.

חברת Firecrawl פיתחה שני מוצרי ליבה באמצעות Gemini 2.5 Pro:

• ‫SmartScrape: כלי לחילוץ נתונים שמשתמש ביכולות של Gemini 2.5 Pro להבנת שפה וחשיבה רציונלית כדי להפוך קובצי HTML גולמיים לפלט מובנה, כמו JSON או זוגות של מפתח-ערך. היא מבצעת חילוץ בהתאם להקשר, ומבינה את משמעות הנתונים ביחס ליעדים שהמשתמש הגדיר, ולא רק את המיקום שלהם בדף.
• ‫FIRE-1: מסגרת ניסיונית של סוכן שמשתמש ב-Gemini 2.5 Pro כדי לפרש את כוונת המשתמש, לנווט בתוכן אינטרנט וליצור פלט על סמך נתונים פעילים באינטרנט.

לפני שהחברה החלה להשתמש ב-Gemini 2.5 Pro, היא בדקה כמה מודלים מובילים. הם גילו שמודלים אחרים התקשו להתמודד עם המורכבות והשונות של תוכן אינטרנט בעולם האמיתי בקנה מידה של ייצור.

"הודות ל-Gemini 2.5 Pro, הפרויקט כולו הפך לבר-ביצוע", אומר אריק צ'ארלה, אחד מהמייסדים של Firecrawl. "לפני שהשתמשנו ב-Gemini 2.5 Pro, המודלים שבדקנו לא הצליחו להתמודד באופן מהימן עם רמת המורכבות הנדרשת כדי לחלץ תוכן אינטרנט מהעולם האמיתי ולנתח אותו. היכולות של Gemini 2.5 Pro להסקת מסקנות, הדיוק והיציבות שלו אפשרו לנו להתקדם בביטחון".

חברת Firecrawl שילבה את Gemini 2.5 Pro במוצרים שלה תוך שבוע בערך. הם משתמשים ביכולות החשיבה הרציונלית של המודל וביכולות השימוש בכלים במסגרת ארכיטקטורת הסוכן שלהם.

במסגרת הסוכן FIRE-1, המודל פועל בלולאת סוכן שמשלבת את ההיגיון של Gemini 2.5 Pro עם זרימות בקרה דטרמיניסטיות. כך התהליך עובד:

• קלט: הסוכן מקבל את מודל אובייקט המסמך (DOM) של דף האינטרנט ומטרה מוגדרת של המשתמש (למשל, תקבלו את כל הדפים באתר הזה").
• הסקת מסקנות: Gemini 2.5 Pro מנתח את הקלט וקובע את הפעולות הנדרשות.
• ביצוע: המודל מבצע את הפעולות האלה באמצעות הפעלת כלים (בקשות להפעלת פונקציות). למשימות ניווט, יכול להיות שהסוכן יפעיל באופן אוטונומי פונקציות כמו click(next_page) כדי לאחזר את הנתונים הנדרשים.

הגישה הזו מאפשרת ל-Firecrawl לטפל במשימות מורכבות של ניווט באינטרנט וחילוץ נתונים שדורשות גמישות וצפיות.

בבדיקות השוואתיות פנימיות של דיוק החילוץ וניתוח מורכב של דפי אינטרנט, Gemini 2.5 Pro השיג ביצועים טובים משמעותית בהשוואה למודלים אחרים שנבדקו על ידי Firecrawl.

Gemini 2.5 Pro הגיע לרמת דיוק של 98% בהערכות הפנימיות של Firecrawl. המודל הבא הכי טוב שנבדק הגיע לרמת דיוק של כ-80%. השיפור בביצועים תורגם ישירות לתוצאות חילוץ איכותיות יותר ולהתנהגות מהימנה יותר של הסוכן בעומסי עבודה של ייצור.

"בבדיקות הפנימיות שלנו, Gemini 2.5 Pro עקף באופן עקבי את המתחרים בכל מימד מרכזי של תרחיש השימוש שלנו: דיוק החילוץ, הסקת מסקנות מורכבת, זמן האחזור והתפוקה הכוללת", ציין צ'ארלה.

מודלים של Gemini הם עכשיו רכיב בסיסי בתשתית ה-AI של Firecrawl, והם מאפשרים לספק צינורות נתונים מהימנים מהאינטרנט למוצרי AI.

חברת Firecrawl בודקת כרגע את Gemini 2.5 Flash לתרחישי שימוש שבהם נדרש זמן אחזור נמוך במיוחד, ואינטראקציה בזמן אמת עם סוכן היא קריטית. ככל שמשפחת מודלי Gemini מתפתחת, Firecrawl מתכננת לשלב יכולות חדשות כדי לשפר עוד יותר את האינטראקציה של סוכני AI עם נתונים מהאינטרנט בעולם האמיתי.

כדי להתחיל לפתח אפליקציות משלכם, כדאי לעיין ביכולות של מודלי Gemini במאמרי העזרה של ה-API.