Gemini מניע את חוויית ה'מחשוב בשפה טבעית' של tldraw

ממשק ה-API של Gemini מאפשר למפתחים לשלב יכולות AI מתקדמות באפליקציות שלהם בצורה חלקה, וכך לפתוח אפשרויות חדשות לחוויית המשתמש ולפונקציונליות. בפוסט הזה נסביר איך tldraw משתמשים ב-Gemini כדי ליצור חוויה מהפכנית של 'מחשוב בשפה טבעית' בפרויקט החדש שלהם, computer. הדוגמה הזו ממחישה את המהירות והקלות שבהן חברות סטארט-אפ יכולות לשלב AI חזק באמצעות Gemini API ו-canvas SDK של tldraw. צוות tldraw ישיק בקרוב מחשב עם Gemini 1.5 Flash (להצטרפות לרשימת ההמתנה), והוא עובד כרגע על אב טיפוס עם Gemini 2.0 Flash לצורך גרסאות עתידיות.

ב-tldraw משתמשים ב-Gemini API כדי להביא את העוצמה של בינה מלאכותית מבוססת-שיחה לתכנות חזותי, ומאפשרים למשתמשים ליצור תוכן ולעבד מידע באמצעות שפה טבעית. כך נוצרות הזדמנויות מעניינות לשיפור חוויית המשתמש בתחום ה-AI, תוך מעבר לגבולות של תקשורת חזותית.

ב-tldraw, שואפים להפוך את יצירת התרשימים לנגישה ואינטואיטיבית, ולכן דמינו דרך טבעית יותר שבה המשתמשים יכולים ליצור אינטראקציה עם הלוח שלהם. המייסד סטיב רואיז (Steve Ruiz) רצה לנצל את העוצמה של ערכת ה-SDK של tldraw ליצירת קנבס אינסופי כדי ליצור סביבה דינמית לעבודה עם AI גנרטיבי. התחזית הזו הובילה לפיתוח של computer, אפליקציה ניסיונית שבה משתמשים יוצרים תהליכי עבודה מקטעי טקסט, תמונות והוראות. במהלך ההרצה, המידע זורם מרכיב אחד לרכיב הבא, והפלט של כל דור משמש כקלט לדור הבא. כך נוצרים תהליכים חזקים שמבצעים יצירת ענפים, לולאות וחזרות כדי לייצר את הפלט.

המחשב של tldraw מבוסס על רשת של 'רכיבים' מקושרים שמייצגים רכיבים על הלוח (תיבות טקסט, תמונות, קליפים אודיו וכו'). הרכיבים האלה מקושרים באמצעות חיצים, שמציגים באופן חזותי את זרימת הנתונים והטרנספורמציות. לכל רכיב יש 'נוהלי' משויכים – קבוצות של הוראות שמבוצעות על סמך קלט ממרכיבים מחוברים. רכיב יכול לקבל נתונים ממספר בלתי מוגבל של רכיבים אחרים ולהעביר את נתוני הפלט שלו לרכיבים רבים אחרים – כולל לעצמו! הארכיטקטורה שמבוססת על רכיבים, בשילוב עם העוצמה והמהירות של Gemini 2.0 Flash, מאפשרת ליצור מערכת מהירה וגמישה שיכולה לטפל במשימות מגוונות.

כך תהליך היצירה של אב טיפוס ב-Gemini 2.0 Flash עזר לשפר את החוויה:

• ביצוע פרוצדורות במהירות הבזק: Gemini 2.0 Flash מבצע פרוצדורות במהירות. לדוגמה, רכיב 'הוראות' יכול להכיל את ההוראה 'כתיבת מודעה קצרה'. תוך כמה רגעים מההפעלה, הרכיב ייצור סקריפט של שלבים שאפשר לעשות בו שימוש חוזר, ובעזרתו אפשר להפוך כל שילוב של קלט לסקריפט של מודעה. לאחר מכן, הרכיב ישתמש בסקריפט הזה, יחד עם הקלט הנוכחי שלו (למשל, רכיב 'טקסט' עם 'כפפות חכמות חדשות מבוססות-AI לחתולים'), כדי להציג הנחיה שנייה למודל לקבלת הפלט הסופי שלו. אפשר להעביר את הפלט הזה לרכיב 'טקסט' מקושר אחר להצגה, וגם לרכיבים מחוברים אחרים, כמו 'דיבור' להמרת טקסט לדיבור, 'תמונה' ליצירה חזותית או רכיבי 'הוראות' אחרים לצורך טרנספורמציה נוספת.

• הרבה הקשר, הרבה מצבים: המחשב של tldraw מחייב מהירות, קיבולת ויכולות. מכיוון שיש כמה רכיבים שמספקים נתונים לכל דור, חלון ההקשר הגדול של Gemini 2.0 Flash היה חיוני ליצירת פלטים שכוללים את כל הקלט, וכך גם התמיכה בתמונות ובקבצים לצד הנחיות כתובות.

• נתונים מובְנים: לא ניתן יהיה להעביר נתונים בין רכיבים בלי לפעול לפי הסכימה אחת. הפלט המובנה של JSON מ-Gemini 2.0 Flash מבטיח שכל רכיב בתהליך העבודה יוכל לזהות נתונים מכל סוג וליצור את הפלט שלו באותו מבנה. כך אפשר למנוע עיכובים, לשפר את הביצועים ולוודא שתהליכי עבודה גדולים יושלמו בצורה מהימנה.

• יצירת פרוצדורות דינמיות: בנוסף להרצת פרוצדורות מוגדרות מראש, Gemini 2.0 Flash יכול ליצור פרוצדורות באופן דינמי. משתמש יכול להזין "יצירת קמפיין שיווקי על סמך תיאור המוצר הזה", ו-Gemini 2.0 Flash ייצור את השלבים (הנהלים) והרכיבים הנדרשים, ויקים תהליך עבודה על הלוח על סמך הבקשה ברמה גבוהה של המשתמש. היצירה הדינמית הזו פותחת פוטנציאל עצום ליצירת חוויות משתמש חדשניות ולשיפור תהליכי העבודה.

ההטמעה המהירה של tldraw במחשב מדגישה את היתרונות של Gemini לסטארט-אפים: פיתוח אב טיפוס מהיר, חוויית משתמש משופרת באמצעות ממשקים אינטואיטיביים בשפה טבעית וטיפול יעיל בנתונים מובְנים באמצעות מודלים כמו Gemini 2.0 Flash. השילוב הזה מאפשר לצוותים קטנים ליצור תכונות חדשניות מבוססות-AI במהירות ובעלות משתלמת.