Gemini hỗ trợ trải nghiệm "Xử lý ngôn ngữ tự nhiên" của tldraw

Gemini API giúp các nhà phát triển tích hợp liền mạch các chức năng AI tiên tiến vào ứng dụng của họ, mở ra những khả năng mới cho trải nghiệm và chức năng của người dùng. Bài đăng này nêu bật cách tldraw tận dụng Gemini để tạo ra trải nghiệm "điện toán bằng ngôn ngữ tự nhiên" mang tính cách mạng trong dự án mới của họ, computer. Điều này minh hoạ tốc độ và mức độ dễ dàng mà các công ty khởi nghiệp có thể tích hợp AI mạnh mẽ bằng cách sử dụng Gemini API và canvas SDK của tldraw. Nhóm tldraw sắp ra mắt computer có tích hợp Gemini 1.5 Flash (tham gia danh sách chờ) và hiện đang tạo mẫu bằng Gemini 2.0 Flash cho các lần lặp lại trong tương lai.

tldraw đang sử dụng Gemini API để mang sức mạnh của AI đàm thoại vào lập trình trực quan, cho phép người dùng tạo nội dung và xử lý thông tin bằng ngôn ngữ tự nhiên. Điều này mở ra những cơ hội thú vị để mang đến trải nghiệm người dùng trực quan và hiệu quả hơn về AI, đồng thời mở rộng ranh giới của giao tiếp bằng hình ảnh.

tldraw, nỗ lực giúp việc lập sơ đồ trở nên dễ tiếp cận và trực quan, đã hình dung ra một cách tự nhiên hơn để người dùng tương tác với canvas của họ. Nhà sáng lập Steve Ruiz đã tìm cách khai thác sức mạnh của SDK canvas vô hạn của tldraw để tạo ra một môi trường linh hoạt cho việc sử dụng AI tạo sinh. Tầm nhìn này đã dẫn đến việc phát triển computer, một ứng dụng thử nghiệm nơi người dùng tạo quy trình làm việc từ các khối văn bản, hình ảnh và hướng dẫn. Khi chạy, thông tin sẽ chuyển từ thành phần này sang thành phần khác, trong đó đầu ra của mỗi thế hệ đóng vai trò là đầu vào cho thế hệ tiếp theo, tạo ra các quy trình mạnh mẽ có thể phân nhánh, lặp lại và lặp lại để tạo ra đầu ra.

Máy tính của tldraw được xây dựng dựa trên một mạng lưới các "thành phần" kết nối với nhau, đại diện cho các phần tử trên canvas (hộp văn bản, hình ảnh, đoạn âm thanh, v.v.). Các thành phần này được liên kết bằng các mũi tên, trực quan hóa luồng dữ liệu và chuyển đổi. Mỗi thành phần đều có "quy trình" liên quan—bộ hướng dẫn được thực hiện dựa trên dữ liệu đầu vào từ các thành phần được kết nối. Một thành phần có thể chấp nhận dữ liệu từ nhiều thành phần khác nhau và truyền dữ liệu đầu ra của nó cho nhiều thành phần khác, bao gồm cả chính nó! Kiến trúc dựa trên thành phần này, kết hợp với sức mạnh và tốc độ của Gemini 2.0 Flash, cho phép tạo ra một hệ thống nhanh và linh hoạt có khả năng xử lý nhiều tác vụ khác nhau.

Sau đây là cách mà hoạt động tạo mẫu Gemini 2.0 Flash đã mang lại trải nghiệm này:

• Thực thi thủ tục cực nhanh: Gemini 2.0 Flash thực thi thủ tục cực nhanh. Ví dụ: thành phần "Hướng dẫn" có thể chứa nội dung "Viết một đoạn quảng cáo ngắn". Chỉ sau vài phút kích hoạt, thành phần này sẽ tạo ra một tập lệnh có thể tái sử dụng gồm các bước có thể biến bất kỳ sự kết hợp đầu vào nào thành một tập lệnh thương mại. Sau đó, thành phần này sẽ dùng tập lệnh này cùng với các đầu vào hiện tại (ví dụ: thành phần "Văn bản" có nội dung "Găng tay thông minh mới dùng AI cho mèo") để đưa ra câu lệnh thứ hai cho mô hình nhằm tạo đầu ra cuối cùng. Đầu ra này có thể được chuyển đến một thành phần "Văn bản" được liên kết khác để hiển thị, cũng như các thành phần được kết nối khác, như "Lời nói" để chuyển văn bản thành lời nói, "Hình ảnh" để tạo hình ảnh hoặc các thành phần "Hướng dẫn" khác để chuyển đổi thêm.

• Nhiều ngữ cảnh, nhiều chế độ: Xu hướng tối đa trong máy tính của tldraw đòi hỏi tốc độ, dung lượng và khả năng. Với nhiều thành phần cung cấp dữ liệu cho từng thế hệ, cửa sổ ngữ cảnh lớn của Gemini 2.0 Flash đóng vai trò quan trọng trong việc tạo ra các đầu ra có tính đến tất cả các đầu vào, cũng như hỗ trợ hình ảnh và tệp cùng với lời nhắc bằng văn bản.

• Dữ liệu có cấu trúc: Luồng dữ liệu giữa các thành phần sẽ không thể thực hiện được nếu không tuân thủ một lược đồ duy nhất. Đầu ra JSON có cấu trúc từ Gemini 2.0 Flash đảm bảo rằng mỗi thành phần trong quy trình làm việc đều có thể nhận dạng dữ liệu thuộc mọi loại và tạo ra đầu ra theo cùng một cấu trúc, ngăn chặn tình trạng tắc nghẽn, giúp quá trình thực thi diễn ra suôn sẻ và đảm bảo ngay cả những quy trình làm việc lớn cũng sẽ hoàn tất một cách đáng tin cậy.

• Tạo thủ tục động: Ngoài việc thực thi các thủ tục được xác định trước, Gemini 2.0 Flash có thể tạo thủ tục động. Người dùng có thể nhập "tạo chiến dịch tiếp thị dựa trên mô tả sản phẩm này" và Gemini 2.0 Flash sẽ tạo ra các bước cần thiết (quy trình) và các thành phần bắt buộc, xây dựng quy trình làm việc trên canvas dựa trên yêu cầu cấp cao của người dùng. Thế hệ năng động này mở ra tiềm năng to lớn cho trải nghiệm người dùng sáng tạo và quy trình làm việc hợp lý.

Việc triển khai máy tính nhanh chóng của tldraw làm nổi bật giá trị mà Gemini mang lại cho các công ty khởi nghiệp: tạo mẫu nhanh, nâng cao trải nghiệm người dùng thông qua giao diện ngôn ngữ tự nhiên trực quan và xử lý dữ liệu có cấu trúc hiệu quả nhờ các mô hình như Gemini 2.0 Flash. Sự kết hợp này giúp các nhóm nhỏ tạo ra các tính năng sáng tạo, hỗ trợ bởi AI một cách nhanh chóng và tiết kiệm chi phí.