Gemini 支援 tldraw 的「自然語言運算」體驗

開發人員可透過 Gemini API 將進階 AI 功能順暢整合至應用程式，為使用者體驗和功能開創無限可能。這篇文章將重點介紹 tldraw 如何運用 Gemini，在全新專案「computer」中，打造革命性的「自然語言運算」體驗。這項功能展示了新創公司如何使用 Gemini API 和 tldraw 的 canvas SDK，快速輕鬆地整合強大的 AI 功能。tldraw 團隊即將推出搭載 Gemini 1.5 Flash 的電腦 (加入候補名單)，目前正在使用 Gemini 2.0 Flash 製作原型，以供日後疊代。

tldraw 運用 Gemini API，將對話式 AI 的強大功能帶入視覺化程式設計，讓使用者能以自然語言生成內容及處理資訊。這為 AI 帶來更直覺、更有效率的使用者體驗，也為視覺傳達開創了無限可能。

tldraw 致力於提供簡單易用的圖表繪製工具，因此希望使用者能以更自然的方式與畫布互動。創辦人 Steve Ruiz 想要運用 tldraw 的無限畫布 SDK，打造可與生成式 AI 互動的動態環境。這項願景促成了 computer 的開發。這項實驗性應用程式可讓使用者從文字、圖片和指令區塊建立工作流程。執行時，資訊會從一個元件流向另一個元件，每個生成結果的輸出內容會做為下一個生成結果的輸入內容，進而建立強大的程序，這些程序會分支、迴圈和疊代，以產生輸出內容。

tldraw 的電腦是建構在互連「元件」的網路上，代表畫布上的元素 (文字方塊、圖片、音訊片段等)。這些元件會以箭頭連結，顯示資料流向和轉換。每個元件都有相關的「程序」，也就是根據所連線元件的輸入內容執行的一組指令。元件可以接受任意數量的其他元件資料，並將輸出資料傳遞給許多其他元件 (包括自身！)。這種以元件為基礎的架構，加上 Gemini 2.0 Flash 的強大功能和速度，可打造出快速且彈性的系統，處理各種工作。

以下說明 Gemini 2.0 Flash 原型如何支援這項體驗：

• 程序執行速度飛快：Gemini 2.0 Flash 執行程序的速度非常快。舉例來說，「指示」元件可能包含「撰寫簡短的商業廣告」。觸發後，元件會立即生成可重複使用的步驟指令碼，將任何輸入組合轉換為商業腳本。然後，這個元件會使用這項指令碼和目前的輸入內容 (例如含有「New AI-powered smartgloves for cats」的「Text」元件)，向模型發出第二個提示，以取得最終輸出內容。這項輸出內容可傳遞至另一個連結的「文字」元件以供顯示，以及其他連結的元件，例如用於文字轉語音的「語音」、用於生成圖像的「圖片」，或是用於進一步轉換的其他「指令」元件。

• 大量情境，多種模式：tldraw 電腦的極簡主義傾向需要速度、容量和功能。由於每個生成內容都有多個元件提供資料，Gemini 2.0 Flash 的大型脈絡窗口對於生成內容至關重要，因為這樣才能將所有輸入內容納入考量，而且除了文字提示外，還支援圖片和檔案。

• 結構化資料：如未遵守單一結構定義，元件之間就無法傳輸資料。Gemini 2.0 Flash 輸出的 JSON 結構化資料可確保工作流程中的每個元件都能辨識任何類型的資料，並以相同結構產生輸出內容，避免停滯、順暢執行，並確保即使是大型工作流程也能順利完成。

• 動態生成程序：除了執行預先定義的程序，Gemini 2.0 Flash 還能動態生成程序。使用者可以輸入「根據這份產品說明建立行銷活動」，Gemini 2.0 Flash 就會生成必要步驟 (程序) 和所需元件，並根據使用者的概略要求，在畫布上建立工作流程。這項動態生成功能可望帶來創新使用者體驗，並簡化工作流程。

tldraw 快速導入電腦亮點，凸顯 Gemini 對新創公司的價值主張：快速原型設計、透過直覺式自然語言介面提升使用者體驗，以及透過 Gemini 2.0 Flash 等模型有效處理結構化資料。這項組合可協助小型團隊快速且經濟實惠地打造創新 AI 輔助功能。