‫Gemini מפעיל את חוויית השימוש ב-tldraw עם 'עיבוד שפה טבעית'

ממשק Gemini API מאפשר למפתחים לשלב בצורה חלקה יכולות מתקדמות של AI באפליקציות שלהם, וכך פותח אפשרויות חדשות לחוויית משתמש ולפונקציונליות. בפוסט הזה נסביר איך tldraw משתמשת ב-Gemini כדי ליצור חוויית 'מחשוב בשפה טבעית' מהפכנית בפרויקט החדש שלה, computer. ההדגמה הזו ממחישה את המהירות והקלות שבהן חברות סטארט-אפ יכולות לשלב AI מתקדם באמצעות Gemini API ו-canvas SDK של tldraw. צוות tldraw עומד להשיק בקרוב מחשב עם Gemini 1.5 Flash (אפשר להצטרף לרשימת ההמתנה) ובשלב הזה הוא יוצר אב טיפוס עם Gemini 2.0 Flash לקראת איטרציות עתידיות.

‫tldraw משתמש ב-Gemini API כדי להוסיף את היכולות של AI שיכול לנהל שיחה לתכנות ויזואלי, וכך מאפשר למשתמשים ליצור תוכן ולעבד מידע באמצעות שפה טבעית. השינוי הזה פותח הזדמנויות חדשות ומרגשות ליצירת חוויית משתמש אינטואיטיבית ויעילה יותר שמבוססת על AI, ומרחיב את הגבולות של תקשורת חזותית.

ב-tldraw, ששואפים להפוך את יצירת הדיאגרמות לנגישה ואינטואיטיבית, חזו דרך טבעית יותר למשתמשים ליצור אינטראקציה עם אזור העריכה. המייסד סטיב רואיז רצה למנף את היכולות של ערכת ה-SDK של tldraw ללוח ציור אינסופי כדי ליצור סביבה דינמית לעבודה עם AI גנרטיבי. החזון הזה הוביל לפיתוח של computer, אפליקציה ניסיונית שבה משתמשים יוצרים תהליכי עבודה מבלוקים של טקסט, תמונות והוראות. כשמריצים את התהליך, המידע זורם מרכיב אחד לרכיב הבא, והפלט של כל דור משמש כקלט לדור הבא. כך נוצרים תהליכים עוצמתיים שמסתעפים, חוזרים על עצמם ומשפרים את עצמם כדי להפיק פלט.

המחשב של tldraw מבוסס על רשת של 'רכיבים' מחוברים שמייצגים אלמנטים באזור העריכה (תיבות טקסט, תמונות, קליפים של אודיו וכו'). הרכיבים האלה מקושרים באמצעות חצים, שממחישים את זרימת הנתונים והשינויים. לכל רכיב משויכים 'הליכים' – סדרות של הוראות שמופעלות על סמך קלט מרכיבים מחוברים. רכיב יכול לקבל נתונים מכל מספר של רכיבים אחרים ולהעביר את נתוני הפלט שלו לרכיבים אחרים רבים – כולל לעצמו! הארכיטקטורה הזו מבוססת על רכיבים, ובשילוב עם העוצמה והמהירות של Gemini 2.0 Flash, היא מאפשרת ליצור מערכת מהירה וגמישה שיכולה להתמודד עם מגוון רחב של משימות.

כך יצרנו את חוויית השימוש באמצעות אב טיפוס של Gemini 2.0 Flash:

• ביצוע מהיר של פעולות: Gemini 2.0 Flash מבצע פעולות במהירות. לדוגמה, רכיב מסוג 'הוראה' יכול להכיל את ההוראה 'כתוב פרסומת קצרה'. תוך רגעים ספורים אחרי ההפעלה, הרכיב ייצור סקריפט של שלבים שאפשר להשתמש בו שוב ושוב, והוא יכול להפוך כל שילוב של קלט לסקריפט מסחרי. לאחר מכן, הרכיב ישתמש בסקריפט הזה, יחד עם הקלט הנוכחי שלו (למשל, רכיב Text עם הטקסט New AI-powered smartgloves for cats), כדי ליצור הנחיה שנייה למודל לקבלת הפלט הסופי. אפשר להעביר את הפלט הזה לרכיב 'טקסט' מקושר אחר לצורך הצגה, וגם לרכיבים מקושרים אחרים, כמו 'דיבור' להמרת טקסט לדיבור, 'תמונה' ליצירת תמונה או רכיבי 'הוראה' אחרים לצורך שינוי נוסף.

• הרבה הקשר, הרבה מצבים: הגישה המקסימליסטית במחשב של tldraw דרשה מהירות, קיבולת ויכולת. חלון ההקשר הגדול של Gemini 2.0 Flash היה חיוני ליצירת פלטים שהתחשבו בכל הקלטים, וגם התמיכה שלו בתמונות ובקבצים לצד הנחיות כתובות.

• נתונים מובְנים: אי אפשר להעביר נתונים בין רכיבים בלי להשתמש בסכימה אחת. הפלט המובנה של JSON מ-Gemini 2.0 Flash מבטיח שכל רכיב בתהליך עבודה יוכל לזהות נתונים מכל סוג ולהפיק את הפלט שלו באותה מבנה, וכך למנוע עיכובים, לשפר את הביצוע ולהבטיח שגם תהליכי עבודה גדולים יושלמו בצורה מהימנה.

• יצירת פרוצדורות דינמיות: מעבר להפעלת פרוצדורות מוגדרות מראש, Gemini 2.0 Flash יכול ליצור פרוצדורות באופן דינמי. משתמש יכול להזין את ההנחיה 'תצור קמפיין שיווקי על סמך תיאור המוצר הזה', ו-Gemini 2.0 Flash ייצור את השלבים (הנהלים) הדרושים ואת הרכיבים הנדרשים, ויבנה תהליך עבודה באזור העריכה על סמך הבקשה הכללית של המשתמש. היכולת ליצור תוכן באופן דינמי פותחת פוטנציאל עצום ליצירת חוויות משתמש חדשניות ולייעול תהליכי העבודה.

ההטמעה המהירה של tldraw מדגישה את היתרונות של Gemini לסטארטאפים: יצירת אב טיפוס מהירה, שיפור חוויית המשתמש באמצעות ממשקי שפה טבעית אינטואיטיביים וטיפול יעיל בנתונים מובנים הודות למודלים כמו Gemini 2.0 Flash. השילוב הזה מאפשר לצוותים קטנים ליצור במהירות וביעילות תכונות חדשניות מבוססות-AI.