Gemini 為 tldraw 提供「自然語言運算」功能

Gemini API 可讓開發人員將進階 AI 功能流暢地整合至應用程式，開創使用者體驗和功能的新可能。本文將說明 tldraw 如何運用 Gemini 在其新專案「電腦」中，打造革命性的「自然語言運算」體驗。這項測試說明新創公司如何快速且輕鬆地使用 Gemini API 和 tldraw 的 Canvas SDK，整合功能強大的 AI 技術。tldraw 團隊即將推出搭載 Gemini 1.5 Flash 的電腦 (加入候補名單)，並正在使用 Gemini 2.0 Flash 製作原型，以利日後的版本更新。

tldraw 使用 Gemini API，將對話式 AI 的強大功能運用在視覺程式設計中，讓使用者能以自然語言產生內容和處理資訊。這項技術可帶來更直覺、更有效率的 AI 使用者體驗，開拓視覺溝通的全新境界。

為了讓繪製圖表更容易上手，tldraw 致力於打造更直覺的圖表繪製工具，讓使用者能以更自然的方式與畫布互動。創辦人史蒂夫．魯伊茲 (Steve Ruiz) 希望運用 tldraw 無限畫布 SDK 的強大功能，打造動態環境，以便使用生成式 AI。這項願景促成了電腦的開發，這是一款實驗性應用程式，使用者可以利用文字、圖片和指示建立工作流程。執行時，資訊會從一個元件流向下一個，每個世代的輸出內容都會做為下一個世代的輸入內容，藉此建立分支、迴圈和迭代等強大程序，產生輸出內容。

tldraw 的電腦是建立在網路上，網路上有代表畫布上元素的「元件」(文字方塊、圖片、音訊片段等)，彼此相連。這些元件會透過箭頭連結，以視覺化方式呈現資料流和轉換作業。每個元件都有相關聯的「程序」，也就是根據已連結元件的輸入內容執行的指令集。元件可接受來自任意數量其他元件的資料，並將輸出資料傳遞給許多其他元件，包括自身！這種以元件為基礎的架構，搭配 Gemini 2.0 Flash 的強大功能和速度，可打造快速且靈活的系統，處理各種工作。

以下是 Gemini 2.0 Flash 原型設計如何提升使用體驗：

• 執行程序速度快：Gemini 2.0 Flash 可快速執行程序。舉例來說，「Instruction」元件可能包含「Write a short commercial.」元件觸發後，幾秒內就會產生可重複使用的步驟指令碼，可將任何輸入組合轉換為商業指令碼。接著，元件會使用這段指令碼，搭配目前的輸入內容 (例如「Text」元件，其中包含「New AI-powered smartgloves for cats」)，向模型提出第二個提示，以取得最終輸出內容。這項輸出內容可能會傳遞至另一個已連結的「文字」元件進行顯示，以及其他已連結的元件，例如用於文字轉語音的「語音」、用於視覺生成的「圖片」，或用於進一步轉換的其他「指示」元件。

• 大量的背景資訊和多種模式：在電腦上使用 tldraw 時，您會需要速度、容量和功能。由於每個生成作業都有多個元件提供資料，因此 Gemini 2.0 Flash 的大型脈絡窗口對於產生考量所有輸入內容的輸出內容至關重要，這也是為何 Gemini 支援圖片和檔案以及文字提示的原因。

• 結構化資料：如果不遵循單一結構定義，元件之間的資料流動就無法順利進行。Gemini 2.0 Flash 的結構化 JSON 輸出內容可確保工作流程中的每個元件都能辨識任何類型的資料，並以相同的結構產生輸出內容，避免執行作業停滯、確保執行作業順暢，並確保大型工作流程可可靠地完成。

• 動態程序產生：除了執行預先定義的程序外，Gemini 2.0 Flash 還能動態產生程序。使用者可以輸入「根據此產品說明建立行銷活動」，Gemini 2.0 Flash 就會產生必要步驟 (程序) 和必要元件，根據使用者的高層需求在畫布上建立工作流程。這群充滿活力的世代，將為創新的使用者體驗和流暢的工作流程開啟無限潛力。

透過快速導入電腦，tldraw 充分展現了 Gemini 對新創公司的價值主張：快速製作原型、透過直覺性的自然語言介面提升使用者體驗，以及運用 Gemini 2.0 Flash 等模型有效處理結構化資料。這兩項服務的組合可讓小型團隊以快速且符合成本效益的方式，打造創新的 AI 輔助功能。