Firecrawl përdor Gemini 2.5 Pro për të strukturuar të dhënat e uebit për aplikacionet e IA-së

Aplikacionet e inteligjencës artificiale, të tilla si sistemet e gjenerimit të shtuar të rikuperimit (RAG) dhe agjentët autonomë, kërkojnë gjithnjë e më shumë qasje në informacion të drejtpërdrejtë, të botës reale nga uebi. Megjithatë, përmbajtja e uebit shpesh është e pastrukturuar, dinamike dhe e paqëndrueshme, duke e bërë nxjerrjen e besueshme të të dhënave një sfidë të rëndësishme për zhvilluesit.

Firecrawl, një platformë e të dhënave në internet e bazuar në inteligjencën artificiale, ofron API që u mundësojnë zhvilluesve dhe sistemeve të inteligjencës artificiale të gjejnë, të marrin, të analizojnë dhe të strukturojnë të dhënat e internetit në shkallë të gjerë në mënyrë programore. Ato abstraktojnë kompleksitetin e mbledhjes tradicionale të të dhënave në internet, duke transformuar përmbajtjen e pastrukturuar të internetit në të dhëna të pastra dhe të përdorshme.

Për ta arritur këtë, Firecrawl përdor Gemini 2.5 Pro për të fuqizuar motorin e saj kryesor të nxjerrjes. Modelet Gemini ofrojnë aftësitë e avancuara të të kuptuarit të gjuhës dhe arsyetimit të nevojshme për të analizuar me saktësi përmbajtjen e larmishme dhe të parregullt të uebit.

Firecrawl synon ta bëjë të gjithë uebin të arritshëm për sistemet e inteligjencës artificiale. Metodat tradicionale të mbledhjes së të dhënave të bazuara në rregulla shpesh janë të brishta dhe kërkojnë mirëmbajtje të vazhdueshme sepse strukturat e faqeve të internetit ndryshojnë shpesh. Firecrawl kishte nevojë për një zgjidhje të aftë për të kuptuar kontekstin dhe për të nxjerrë të dhëna në mënyrë të besueshme, madje edhe nga burime shumë të ndryshueshme.

Firecrawl zhvilloi dy produkte kryesore duke përdorur Gemini 2.5 Pro:

• SmartScrape: Një mjet nxjerrjeje që përdor aftësitë e të kuptuarit të gjuhës dhe arsyetimit të Gemini 2.5 Pro për të transformuar HTML-në e papërpunuar në rezultate të strukturuara, të tilla si JSON ose çifte çelës-vlerë. Ai kryen nxjerrje të vetëdijshme për kontekstin, duke kuptuar kuptimin e të dhënave në lidhje me objektivat e specifikuara nga përdoruesi, në vend që vetëm vendndodhjen e tyre në një faqe.
• FIRE-1: Një strukturë eksperimentale agjentësh që përdor Gemini 2.5 Pro për të interpretuar qëllimin e përdoruesit, për të lundruar në përmbajtjen e uebit dhe për të gjeneruar rezultate bazuar në të dhëna të drejtpërdrejta të uebit.

Firecrawl integroi Gemini 2.5 Pro në produktet e tyre në afërsisht një javë. Ata shfrytëzojnë aftësitë e arsyetimit dhe thirrjes së mjeteve të modelit brenda arkitekturës së tyre të agjentëve.

Në kuadrin e agjentëve FIRE-1, modeli vepron brenda një cikli agjentësh që kombinon arsyetimin e Gemini 2.5 Pro me rrjedhat e kontrollit deterministik. Procesi funksionon si më poshtë:

• Të dhënat hyrëse: Agjenti merr Modelin e Objektit të Dokumentit (DOM) të faqes së internetit dhe një objektiv të përcaktuar të përdoruesit (p.sh., "më jep të gjitha faqet në këtë faqe interneti").
• Arsyetimi: Gemini 2.5 Pro analizon të dhënat hyrëse dhe përcakton veprimet e nevojshme.
• Ekzekutimi: Modeli i ekzekuton këto veprime nëpërmjet thirrjes së mjeteve (thirrjeve të funksioneve). Për detyrat e navigimit, agjenti mund të thërrasë në mënyrë autonome funksione si click(next_page) për të marrë të dhënat e kërkuara.

Në testet e brendshme që krahasojnë saktësinë e nxjerrjes dhe analizimin kompleks të uebit, Gemini 2.5 Pro i tejkaloi ndjeshëm modelet e tjera që vlerësoi Firecrawl.

Gemini 2.5 Pro arriti saktësi prej 98% në vlerësimet e brendshme të Firecrawl. Modeli tjetër më i mirë i testuar arriti saktësi afërsisht 80%. Kjo rritje e performancës u përkthye drejtpërdrejt në rezultate nxjerrjeje me cilësi më të lartë dhe sjellje më të besueshme të agjentëve në ngarkesat e punës së prodhimit.

"Në testimet tona të brendshme, Gemini 2.5 Pro vazhdimisht i tejkaloi alternativat në çdo dimension kyç për rastin tonë të përdorimit: saktësia e nxjerrjes, arsyetimi kompleks, vonesa dhe rendimenti i përgjithshëm", vuri në dukje Ciarla.

Modelet Gemini tani janë një komponent themelor i infrastrukturës së IA-së të Firecrawl, duke i mundësuar atyre të ofrojnë kanale të besueshme të të dhënave në internet për produktet e IA-së.

Firecrawl aktualisht po vlerëson Gemini 2.5 Flash për raste përdorimi që kërkojnë vonesë ultra të ulët, ku bashkëveprimi i agjentëve në kohë reale është kritik. Ndërsa familja e modeleve Gemini evoluon, Firecrawl planifikon të integrojë aftësi të reja për të përmirësuar më tej mënyrën se si agjentët e IA-së bashkëveprojnë me të dhënat e internetit të botës reale.

Për të filluar ndërtimin e aplikacioneve tuaja, eksploroni aftësitë e modeleve Gemini në dokumentacionin tonë të API-t .