‫Firecrawl משתמש ב-Gemini 2.5 Pro כדי לבנות נתונים מהאינטרנט עבור אפליקציות AI

אפליקציות AI, כמו מערכות ליצירת תוכן עם אחזור משופר (RAG) וסוכנים אוטונומיים, דורשות יותר ויותר גישה למידע בזמן אמת מהאינטרנט. עם זאת, תוכן באינטרנט הוא לרוב לא מובנה, דינמי ולא עקבי, ולכן חילוץ נתונים אמין הוא אתגר משמעותי למפתחים.

‫Firecrawl, פלטפורמה לנתוני אינטרנט שמבוססת על AI, מספקת ממשקי API שמאפשרים למפתחים ולמערכות AI למצוא, לאחזר, לנתח ולבנות נתוני אינטרנט באופן פרוגרמטי בקנה מידה גדול. הם מפשטים את המורכבות של גירוד נתונים מסורתי מאתרים, ומשנים תוכן לא מובנה באתר לנתונים נקיים ושימושיים.

כדי להשיג את זה, Firecrawl משתמש ב-Gemini 2.5 Pro כדי להפעיל את מנוע החילוץ המרכזי שלו. המודלים של Gemini מספקים את יכולות ההבנה הלשונית והחשיבה המתקדמות שנדרשות כדי לנתח במדויק תוכן מגוון ולא סדיר באינטרנט.

המטרה של Firecrawl היא להפוך את כל האינטרנט לנגיש למערכות AI. שיטות מסורתיות של גירוד נתונים מאתרים שמבוססות על כללים הן לרוב שבירות ודורשות תחזוקה מתמדת, כי מבני האתרים משתנים לעיתים קרובות. חברת Firecrawl הייתה צריכה פתרון שיכול להבין הקשר ולהפיק נתונים בצורה מהימנה, גם ממקורות עם שונות גבוהה.

חברת Firecrawl פיתחה שני מוצרי ליבה באמצעות Gemini 2.5 Pro:

• ‫SmartScrape: כלי לחילוץ נתונים שמשתמש ביכולות ההבנה וההסקה של שפה של Gemini 2.5 Pro כדי להפוך קובצי HTML גולמיים לפלט מובנה, כמו JSON או זוגות של מפתח/ערך. היא מבצעת חילוץ בהתאם להקשר, ומבינה את משמעות הנתונים ביחס ליעדים שהמשתמש הגדיר, ולא רק את המיקום שלהם בדף.
• ‫FIRE-1: מסגרת ניסיונית של סוכן שמשתמש ב-Gemini 2.5 Pro כדי לפרש את כוונת המשתמש, לנווט בתוכן אינטרנט וליצור פלט על סמך נתונים פעילים באינטרנט.

לפני שהחברה החלה להשתמש ב-Gemini 2.5 Pro, היא בדקה כמה מודלים מובילים. הם גילו שמודלים אחרים התקשו להתמודד עם המורכבות והשונות של תוכן אינטרנט בעולם האמיתי בקנה מידה של ייצור.

"Gemini 2.5 Pro made the entire project feasible," said Eric Ciarla, Co-founder of Firecrawl. "לפני שהשתמשנו ב-Gemini 2.5 Pro, המודלים שבדקנו לא הצליחו להתמודד באופן מהימן עם רמת המורכבות הנדרשת כדי לחלץ תוכן אינטרנט מהעולם האמיתי ולנתח אותו. היכולות של Gemini 2.5 Pro להסקת מסקנות, הדיוק והיציבות שלו אפשרו לנו להתקדם בביטחון".

חברת Firecrawl שילבה את Gemini 2.5 Pro במוצרים שלה תוך שבוע בערך. הם משתמשים ביכולות ההסקה והפעלת הכלים של המודל במסגרת ארכיטקטורת הסוכן שלהם.

במסגרת הסוכן FIRE-1, המודל פועל בלולאת סוכן שמשלבת את ההיגיון של Gemini 2.5 Pro עם זרימות בקרה דטרמיניסטיות. כך התהליך עובד:

• קלט: הסוכן מקבל את מודל אובייקט המסמך (DOM) של דף האינטרנט ומטרה מוגדרת של המשתמש (למשל, תביא לי את כל הדפים באתר הזה").
• הסקת מסקנות: Gemini 2.5 Pro מנתח את הקלט וקובע את הפעולות הנדרשות.
• ביצוע: המודל מבצע את הפעולות האלה באמצעות הפעלת כלים (בקשות להפעלת פונקציות). למשימות ניווט, יכול להיות שהסוכן יפעיל באופן אוטונומי פונקציות כמו click(next_page) כדי לאחזר את הנתונים הנדרשים.

הגישה הזו מאפשרת ל-Firecrawl לטפל במשימות מורכבות של ניווט באינטרנט וחילוץ נתונים שדורשות גמישות וצפיות.

בבדיקות השוואה פנימיות של דיוק החילוץ וניתוח מורכב של דפי אינטרנט, מודל Gemini 2.5 Pro השיג ביצועים טובים משמעותית בהשוואה למודלים אחרים שנבדקו על ידי Firecrawl.

מודל Gemini 2.5 Pro השיג רמת דיוק של 98% בהערכות הפנימיות של Firecrawl. המודל הבא שהגיע לתוצאות הכי טובות הגיע לרמת דיוק של כ-80%. השיפור בביצועים תורגם ישירות לתפוקות חילוץ איכותיות יותר ולהתנהגות מהימנה יותר של הסוכן בעומסי עבודה של ייצור.

"בבדיקות הפנימיות שלנו, Gemini 2.5 Pro עקף באופן עקבי את המתחרים בכל מימד מרכזי בתרחיש השימוש שלנו: דיוק החילוץ, הסקת מסקנות מורכבות, זמן האחזור והתפוקה הכוללת", ציין צ'ארלה.

מודלים של Gemini הם עכשיו רכיב בסיסי בתשתית ה-AI של Firecrawl, והם מאפשרים לחברה לספק צינורות מהימנים של נתוני אינטרנט למוצרי AI.

חברת Firecrawl בודקת כרגע את Gemini 2.5 Flash לתרחישי שימוש שבהם נדרש זמן אחזור נמוך במיוחד, ואינטראקציה בזמן אמת עם סוכן היא קריטית. ככל שמשפחת מודלי Gemini מתפתחת, Firecrawl מתכננת לשלב יכולות חדשות כדי לשפר עוד יותר את האינטראקציה של סוכני AI עם נתונים מהאינטרנט בעולם האמיתי.

כדי להתחיל לבנות אפליקציות משלכם, כדאי לעיין ביכולות של מודלים של Gemini במאמרי העזרה של ה-API.