Gemini ขับเคลื่อนประสบการณ์ "การประมวลผลภาษาธรรมชาติ" ของ tldraw

Gemini API ช่วยให้นักพัฒนาแอปผสานรวมความสามารถขั้นสูงของ AI เข้ากับแอปพลิเคชันได้อย่างราบรื่น ซึ่งจะปลดล็อกประสบการณ์การใช้งานและฟังก์ชันการทำงานใหม่ๆ โพสต์นี้ไฮไลต์วิธีที่ tldraw ใช้ประโยชน์จาก Gemini เพื่อสร้างประสบการณ์ "การประมวลผลภาษาธรรมชาติ" ที่ปฏิวัติวงการภายในโปรเจ็กต์ใหม่อย่าง computer การดำเนินการนี้แสดงให้เห็นว่าสตาร์ทอัปผสานรวม AI ที่มีประสิทธิภาพได้อย่างรวดเร็วและง่ายดายเพียงใดโดยใช้ Gemini API และ Canvas SDK ของ tldraw ทีม tldraw จะเปิดตัวคอมพิวเตอร์ที่ใช้ Gemini 1.5 Flash ในเร็วๆ นี้ (ลงชื่อสมัครรับการแจ้งเตือน) และกำลังสร้างต้นแบบด้วย Gemini 2.0 Flash สำหรับเวอร์ชันที่อัปเดตในอนาคต

tldraw ใช้ Gemini API เพื่อนำความสามารถของ AI แบบสนทนามาสู่การเขียนโปรแกรมด้วยภาพ ซึ่งช่วยให้ผู้ใช้สร้างเนื้อหาและประมวลผลข้อมูลโดยใช้ภาษาที่เป็นธรรมชาติได้ โอกาสนี้เปิดโอกาสให้ผู้ใช้ได้รับประสบการณ์การใช้งาน AI ที่มีประสิทธิภาพและใช้งานง่ายยิ่งขึ้น ซึ่งจะขยายขอบเขตการสื่อสารด้วยภาพ

tldraw มุ่งมั่นที่จะทำให้การสร้างแผนภาพเข้าถึงได้ง่ายและใช้งานง่าย จึงคิดหาวิธีให้ผู้ใช้โต้ตอบกับผืนผ้าใบได้อย่างเป็นธรรมชาติมากขึ้น ผู้ก่อตั้ง Steve Ruiz ต้องการใช้ประโยชน์จากความสามารถของ SDK ของผืนผ้าใบแบบไม่จำกัดของ tldraw เพื่อสร้างสภาพแวดล้อมแบบไดนามิกสำหรับการทำงานร่วมกับ Generative AI วิสัยทัศน์นี้นำไปสู่การพัฒนา computer ซึ่งเป็นแอปพลิเคชันเวอร์ชันทดลองที่ผู้ใช้สร้างเวิร์กโฟลว์จากบล็อกข้อความ รูปภาพ และวิธีการ เมื่อเรียกใช้ ข้อมูลจะไหลจากคอมโพเนนต์หนึ่งไปยังอีกคอมโพเนนต์หนึ่ง โดยเอาต์พุตของแต่ละรุ่นจะทำหน้าที่เป็นอินพุตของรุ่นถัดไป ซึ่งจะสร้างกระบวนการที่มีประสิทธิภาพซึ่งแยกสาขา ทำซ้ำ และวนซ้ำเพื่อสร้างเอาต์พุต

คอมพิวเตอร์ของ tldraw สร้างขึ้นจากเครือข่าย "คอมโพเนนต์" ที่เชื่อมต่อกันซึ่งแสดงถึงองค์ประกอบบนผืนผ้าใบ (กล่องข้อความ รูปภาพ คลิปเสียง ฯลฯ) องค์ประกอบเหล่านี้จะเชื่อมโยงกันด้วยลูกศร ซึ่งแสดงภาพการไหลของข้อมูลและการแปลง แต่ละคอมโพเนนต์มี "ขั้นตอน" ที่เชื่อมโยงกัน ซึ่งเป็นชุดคำสั่งที่ดำเนินการตามอินพุตจากคอมโพเนนต์ที่เชื่อมต่อ คอมโพเนนต์หนึ่งๆ สามารถรับข้อมูลจากคอมโพเนนต์อื่นๆ กี่รายการก็ได้ และส่งออกข้อมูลเอาต์พุตไปยังคอมโพเนนต์อื่นๆ อีกมากมาย รวมถึงส่งออกไปยังตัวเองได้ด้วย สถาปัตยกรรมแบบคอมโพเนนต์นี้รวมเข้ากับความสามารถและความเร็วของ Gemini 2.0 Flash ทำให้ระบบทำงานได้อย่างรวดเร็วและยืดหยุ่นเพื่อจัดการงานที่หลากหลาย

การสร้างต้นแบบของ Gemini 2.0 Flash ช่วยเพิ่มประสิทธิภาพประสบการณ์การใช้งานได้อย่างไรบ้าง

• การดำเนินการตามขั้นตอนที่รวดเร็วทันใจ: Gemini 2.0 Flash ดำเนินการตามขั้นตอนอย่างรวดเร็ว เช่น คอมโพเนนต์ "วิธีการ" อาจประกอบด้วย "เขียนโฆษณาสั้นๆ" ภายในไม่กี่วินาทีหลังจากทริกเกอร์ คอมโพเนนต์จะสร้างสคริปต์ขั้นตอนที่ใช้ซ้ำได้ ซึ่งจะเปลี่ยนชุดค่าผสมของอินพุตต่างๆ เป็นสคริปต์เชิงพาณิชย์ จากนั้นคอมโพเนนต์จะใช้สคริปต์นี้ร่วมกับอินพุตปัจจุบัน (เช่น คอมโพเนนต์ "ข้อความ" ที่มี "ถุงมืออัจฉริยะรุ่นใหม่ที่ทำงานด้วยระบบ AI สำหรับแมว") เพื่อสร้างพรอมต์ที่ 2 ให้กับโมเดลสำหรับเอาต์พุตสุดท้าย ระบบอาจส่งเอาต์พุตนี้ไปยังคอมโพเนนต์ "ข้อความ" ที่ลิงก์ไว้อีกรายการหนึ่งเพื่อแสดงผล รวมถึงคอมโพเนนต์อื่นๆ ที่เชื่อมต่อ เช่น "คำพูด" สำหรับการแปลงข้อความเป็นคำพูด "รูปภาพ" เพื่อสร้างภาพ หรือคอมโพเนนต์ "คำสั่ง" อื่นๆ สำหรับการแปลงเพิ่มเติม

• บริบทจำนวนมาก โหมดหลายโหมด: คอมพิวเตอร์ของ tldraw ต้องใช้ความเร็ว ความจุ และความสามารถที่สูงสุด เนื่องจากมีองค์ประกอบหลายรายการที่ส่งข้อมูลสำหรับแต่ละรุ่น หน้าต่างบริบทขนาดใหญ่ของ Gemini 2.0 Flash จึงมีความสำคัญอย่างยิ่งต่อการสร้างเอาต์พุตที่พิจารณาอินพุตทั้งหมด รวมถึงการรองรับรูปภาพและไฟล์ควบคู่ไปกับพรอมต์ที่เป็นลายลักษณ์อักษร

• Structured Data: การส่งผ่านข้อมูลระหว่างคอมโพเนนต์จะดำเนินการไม่ได้หากไม่เป็นไปตามสคีมาเดียว เอาต์พุต JSON ที่มีโครงสร้างจาก Gemini 2.0 Flash ช่วยให้มั่นใจได้ว่าคอมโพเนนต์แต่ละรายการในเวิร์กโฟลว์จะจดจำข้อมูลประเภทใดก็ได้และสร้างเอาต์พุตในโครงสร้างเดียวกัน ซึ่งจะช่วยป้องกันไม่ให้การดําเนินการหยุดชะงัก ทำงานได้อย่างราบรื่น และช่วยให้เวิร์กโฟลว์ขนาดใหญ่ทำงานได้อย่างสมบูรณ์

• การสร้างขั้นตอนแบบไดนามิก: นอกจากการเรียกใช้ขั้นตอนที่กําหนดไว้ล่วงหน้าแล้ว Gemini 2.0 Flash ยังสามารถสร้างขั้นตอนแบบไดนามิกได้ ผู้ใช้สามารถป้อน "สร้างแคมเปญการตลาดตามคำอธิบายผลิตภัณฑ์นี้" แล้ว Gemini 2.0 Flash จะสร้างขั้นตอน (กระบวนการ) ที่จำเป็นและคอมโพเนนต์ที่จำเป็น สร้างเวิร์กโฟลว์บนผืนผ้าใบตามคำขอระดับสูงของผู้ใช้ การสร้างแบบไดนามิกนี้เปิดโอกาสให้ผู้ใช้ได้รับประสบการณ์การใช้งานที่แปลกใหม่และเวิร์กโฟลว์ที่มีประสิทธิภาพมากขึ้น

การติดตั้งใช้งานคอมพิวเตอร์อย่างรวดเร็วของ tldraw แสดงให้เห็นถึงข้อเสนอด้านคุณค่าของ Gemini สําหรับสตาร์ทอัพ ซึ่งได้แก่ การนําร่องอย่างรวดเร็ว ประสบการณ์ของผู้ใช้ที่ปรับปรุงแล้วผ่านอินเทอร์เฟซภาษาที่เป็นธรรมชาติที่ใช้งานง่าย และการจัดการ Structured Data ที่มีประสิทธิภาพด้วยโมเดลอย่าง Gemini 2.0 Flash การผสมผสานนี้ช่วยให้ทีมเล็กๆ สร้างฟีเจอร์ใหม่ๆ ที่ทำงานด้วยระบบ AI ได้อย่างรวดเร็วและประหยัดค่าใช้จ่าย