Firecrawl ใช้ Gemini 2.5 Pro เพื่อจัดโครงสร้างข้อมูลบนเว็บสำหรับแอปพลิเคชัน AI

แอปพลิเคชัน AI เช่น ระบบการสร้างแบบดึงข้อมูล (RAG) และเอเจนต์อัตโนมัติ ต้องการเข้าถึงข้อมูลแบบเรียลไทม์ในโลกแห่งความเป็นจริงจากเว็บมากขึ้นเรื่อยๆ อย่างไรก็ตาม เนื้อหาเว็บมักไม่มีโครงสร้าง เป็นแบบไดนามิก และไม่สอดคล้องกัน ซึ่งทำให้นักพัฒนาแอปพบความท้าทายอย่างมากในการแยกข้อมูลที่เชื่อถือได้

Firecrawl ซึ่งเป็นแพลตฟอร์มข้อมูลเว็บที่เน้น AI เป็นอันดับแรกมี API ที่ช่วยให้นักพัฒนาซอฟต์แวร์และระบบ AI สามารถค้นหา ดึงข้อมูล แยกวิเคราะห์ และจัดโครงสร้างข้อมูลเว็บได้ในวงกว้างด้วยการเขียนโปรแกรม โดยจะลดความซับซ้อนของการคัดลอกข้อมูลบนเว็บแบบเดิมๆ และเปลี่ยนเนื้อหาเว็บที่ไม่มีโครงสร้างให้เป็นข้อมูลที่สะอาดและใช้งานได้

ด้วยเหตุนี้ Firecrawl จึงใช้ Gemini 2.5 Pro เพื่อขับเคลื่อนเครื่องมือการแยกข้อมูลหลัก โมเดล Gemini มีความสามารถด้านการเข้าใจภาษาและการให้เหตุผลขั้นสูงที่จำเป็นต่อการแยกวิเคราะห์เนื้อหาเว็บที่หลากหลายและไม่สม่ำเสมอได้อย่างถูกต้อง

Firecrawl มีเป้าหมายที่จะทำให้ระบบ AI เข้าถึงเว็บทั้งหมดได้ วิธีการคัดลอกข้อมูลบนเว็บแบบดั้งเดิมที่อิงตามกฎมักจะเปราะบางและต้องมีการบำรุงรักษาอย่างต่อเนื่องเนื่องจากโครงสร้างเว็บไซต์เปลี่ยนแปลงบ่อย Firecrawl ต้องการโซลูชันที่เข้าใจบริบทและดึงข้อมูลได้อย่างน่าเชื่อถือ แม้จากแหล่งที่มาที่มีความผันผวนสูง

Firecrawl พัฒนาผลิตภัณฑ์หลัก 2 รายการโดยใช้ Gemini 2.5 Pro ดังนี้

• SmartScrape: เครื่องมือแยกข้อมูลที่ใช้ความสามารถด้านการทำความเข้าใจภาษาและการให้เหตุผลของ Gemini 2.5 Pro เพื่อเปลี่ยน HTML ดิบเป็นเอาต์พุตที่มีโครงสร้าง เช่น JSON หรือคู่คีย์-ค่า โดยจะทำการแยกข้อมูลที่คำนึงถึงบริบท ซึ่งจะเข้าใจความหมายของข้อมูลที่เกี่ยวข้องกับเป้าหมายที่ผู้ใช้ระบุ แทนที่จะเป็นเพียงตำแหน่งของข้อมูลในหน้าเว็บ
• FIRE-1: เฟรมเวิร์กเอเจนต์เวอร์ชันทดลองที่ใช้ Gemini 2.5 Pro เพื่อตีความเจตนาของผู้ใช้ นำทางเนื้อหาเว็บ และสร้างเอาต์พุตตามข้อมูลเว็บแบบเรียลไทม์

ก่อนที่จะนำ Gemini 2.5 Pro มาใช้ Firecrawl ได้ประเมินโมเดลชั้นนำหลายรายการ โดยพบว่าโมเดลอื่นๆ มีปัญหาในการจัดการความซับซ้อนและความแปรปรวนของเนื้อหาเว็บในโลกแห่งความเป็นจริงที่ระดับการผลิต

"Gemini 2.5 Pro ทำให้ทั้งโปรเจ็กต์เป็นไปได้" Eric Ciarla ผู้ร่วมก่อตั้ง Firecrawl กล่าว "ก่อนที่จะใช้ Gemini 2.5 Pro โมเดลที่เราทดสอบไม่สามารถจัดการระดับความซับซ้อนที่จำเป็นต่อการดึงและให้เหตุผลเกี่ยวกับเนื้อหาเว็บในโลกแห่งความเป็นจริงได้อย่างน่าเชื่อถือ ความสามารถในการให้เหตุผล ความแม่นยำ และความเสถียรของ Gemini 2.5 Pro ทำให้เรามั่นใจที่จะเดินหน้าต่อไป"

Firecrawl ผสานรวม Gemini 2.5 Pro เข้ากับผลิตภัณฑ์ของตนภายในเวลาประมาณ 1 สัปดาห์ โดยใช้ประโยชน์จากความสามารถในการให้เหตุผลและการเรียกใช้เครื่องมือของโมเดลภายในสถาปัตยกรรมเอเจนต์

ในเฟรมเวิร์กเอเจนต์ FIRE-1 โมเดลจะทำงานภายในลูปเอเจนต์ที่รวมการให้เหตุผลของ Gemini 2.5 Pro เข้ากับโฟลว์การควบคุมแบบดีเทอร์มินิสติก กระบวนการทำงานมีดังนี้

• อินพุต: เอเจนต์จะได้รับ Document Object Model (DOM) ของหน้าเว็บและเป้าหมายของผู้ใช้ที่กำหนด (เช่น "ดึงข้อมูลหน้าเว็บทั้งหมดในเว็บไซต์นี้ให้ฉันหน่อย")
• การให้เหตุผล: Gemini 2.5 Pro จะวิเคราะห์อินพุตและพิจารณาการดำเนินการที่จำเป็น
• การดำเนินการ: โมเดลจะดำเนินการเหล่านี้ผ่านการเรียกใช้เครื่องมือ (การเรียกใช้ฟังก์ชัน) สำหรับงานการนำทาง เอเจนต์อาจเรียกใช้ฟังก์ชันต่างๆ เช่น click(next_page) โดยอัตโนมัติเพื่อดึงข้อมูลที่จำเป็น

แนวทางนี้ช่วยให้ Firecrawl จัดการการนำทางเว็บที่ซับซ้อนและงานการแยกข้อมูลที่ต้องใช้ทั้งความยืดหยุ่นและความสามารถในการคาดการณ์ได้

ในการเปรียบเทียบภายในเกี่ยวกับความแม่นยำในการแยกข้อมูลและการแยกวิเคราะห์เว็บที่ซับซ้อน Gemini 2.5 Pro มีประสิทธิภาพเหนือกว่าโมเดลอื่นๆ ที่ Firecrawl ประเมินอย่างเห็นได้ชัด

Gemini 2.5 Pro มีความแม่นยำ 98% ในการประเมินภายในของ Firecrawl โมเดลที่ทดสอบแล้วดีที่สุดรองลงมามีความแม่นยำประมาณ 80% การเพิ่มประสิทธิภาพนี้ส่งผลโดยตรงต่อเอาต์พุตการแยกข้อมูลที่มีคุณภาพสูงขึ้นและลักษณะการทำงานของเอเจนต์ที่เชื่อถือได้มากขึ้นในภาระงานการผลิต

"ในการทดสอบภายในของเรา Gemini 2.5 Pro ทำได้ดีกว่าทางเลือกอื่นๆ อย่างสม่ำเสมอในทุกมิติข้อมูลหลักสำหรับกรณีการใช้งานของเรา ได้แก่ ความแม่นยำในการแยกข้อมูล การให้เหตุผลที่ซับซ้อน เวลาในการตอบสนอง และปริมาณงานโดยรวม" Ciarla กล่าว

ตอนนี้โมเดล Gemini เป็นส่วนประกอบพื้นฐานของโครงสร้างพื้นฐาน AI ของ Firecrawl ซึ่งช่วยให้ Firecrawl สามารถจัดหาไปป์ไลน์ข้อมูลเว็บที่เชื่อถือได้สำหรับผลิตภัณฑ์ AI

ปัจจุบัน Firecrawl กำลังประเมิน Gemini 2.5 Flash สำหรับ Use Case ที่ต้องใช้เวลาในการตอบสนองต่ำมาก ซึ่งการโต้ตอบแบบเรียลไทม์ของเอเจนต์เป็นสิ่งสำคัญ เมื่อกลุ่มโมเดล Gemini พัฒนาขึ้น Firecrawl วางแผนที่จะผสานรวมความสามารถใหม่ๆ เพื่อปรับปรุงวิธีที่เอเจนต์ AI โต้ตอบกับข้อมูลเว็บในโลกแห่งความเป็นจริงให้ดียิ่งขึ้น

หากต้องการเริ่มสร้างแอปพลิเคชันของคุณเอง โปรดสำรวจความสามารถของโมเดล Gemini ในเอกสารประกอบเกี่ยวกับ API