Gemini hỗ trợ trải nghiệm "Tính toán ngôn ngữ tự nhiên" của tldraw

API Gemini giúp nhà phát triển tích hợp liền mạch các chức năng AI nâng cao vào ứng dụng của họ, mở ra nhiều khả năng mới cho trải nghiệm người dùng và chức năng. Bài đăng này nêu bật cách tldraw tận dụng Gemini để xây dựng trải nghiệm "tính toán ngôn ngữ tự nhiên" mang tính cách mạng trong dự án mới của họ, computer. Điều này minh hoạ tốc độ và sự dễ dàng mà các công ty khởi nghiệp có thể tích hợp AI mạnh mẽ bằng cách sử dụng API Gemini và SDK canvas của tldraw. Nhóm tldraw sắp ra mắt máy tính có Gemini 1.5 Flash (tham gia danh sách chờ) và hiện đang tạo bản minh hoạ bằng Gemini 2.0 Flash cho các lần lặp lại trong tương lai.

tldraw đang sử dụng API Gemini để mang sức mạnh của AI đàm thoại vào lập trình hình ảnh, cho phép người dùng tạo nội dung và xử lý thông tin bằng ngôn ngữ tự nhiên. Điều này mở ra nhiều cơ hội thú vị để mang lại trải nghiệm trực quan và hiệu quả hơn cho người dùng về AI, đồng thời mở rộng ranh giới của hoạt động giao tiếp bằng hình ảnh.

tldraw, luôn nỗ lực để tạo ra các sơ đồ dễ tiếp cận và trực quan, đã hình dung ra một cách tự nhiên hơn để người dùng tương tác với canvas của họ. Nhà sáng lập Steve Ruiz đã tìm cách tận dụng sức mạnh của SDK canvas vô hạn của tldraw để tạo ra một môi trường linh động cho việc làm việc với AI tạo sinh. Ý tưởng này đã dẫn đến sự phát triển của computer (máy tính), một ứng dụng thử nghiệm mà người dùng tạo quy trình làm việc từ các khối văn bản, hình ảnh và hướng dẫn. Khi chạy, thông tin sẽ chuyển từ thành phần này sang thành phần tiếp theo, với đầu ra của mỗi thế hệ đóng vai trò là đầu vào cho thế hệ tiếp theo, tạo ra các quy trình mạnh mẽ phân nhánh, lặp lại và lặp lại để tạo ra đầu ra.

Máy tính của tldraw được xây dựng dựa trên một mạng lưới các "thành phần" kết nối với nhau, đại diện cho các phần tử trên canvas (hộp văn bản, hình ảnh, đoạn âm thanh, v.v.). Các thành phần này được liên kết bằng các mũi tên, trực quan hoá luồng dữ liệu và các phép biến đổi. Mỗi thành phần có các "quy trình" liên kết – tập hợp các lệnh được thực thi dựa trên dữ liệu đầu vào từ các thành phần được kết nối. Một thành phần có thể chấp nhận dữ liệu từ bất kỳ số lượng thành phần nào khác và truyền dữ liệu đầu ra của thành phần đó đến nhiều thành phần khác, bao gồm cả chính thành phần đó! Cấu trúc dựa trên thành phần này, kết hợp với sức mạnh và tốc độ của Gemini 2.0 Flash, cho phép hệ thống nhanh chóng và linh hoạt xử lý nhiều tác vụ.

Dưới đây là cách bản minh hoạ Gemini 2.0 Flash đã hỗ trợ trải nghiệm này:

• Thực thi quy trình nhanh như chớp: Gemini 2.0 Flash thực thi các quy trình nhanh chóng. Ví dụ: thành phần "Hướng dẫn" có thể chứa nội dung "Viết một quảng cáo ngắn". Trong giây lát sau khi được kích hoạt, thành phần này sẽ tạo một tập lệnh các bước có thể sử dụng lại, có thể biến bất kỳ tổ hợp đầu vào nào thành một tập lệnh thương mại. Sau đó, thành phần này sẽ sử dụng tập lệnh này cùng với dữ liệu đầu vào hiện tại (ví dụ: thành phần "Văn bản" có "Găng tay thông minh mới chạy bằng AI dành cho mèo") để đưa ra lời nhắc thứ hai cho mô hình về kết quả cuối cùng. Đầu ra này có thể được truyền đến một thành phần "Văn bản" được liên kết khác để hiển thị, cũng như các thành phần được kết nối khác, chẳng hạn như "Nói" để chuyển văn bản sang lời nói, "Hình ảnh" để tạo hình ảnh hoặc các thành phần "Hướng dẫn" khác để chuyển đổi thêm.

• Nhiều ngữ cảnh, nhiều chế độ: Tính năng tối đa hoá trong máy tính của tldraw đòi hỏi tốc độ, dung lượng và khả năng. Với nhiều thành phần cung cấp dữ liệu cho mỗi thế hệ, cửa sổ ngữ cảnh lớn của Gemini 2.0 Flash đóng vai trò quan trọng trong việc tạo ra kết quả có tính đến tất cả dữ liệu đầu vào, cũng như hỗ trợ hình ảnh và tệp cùng với câu lệnh viết.

• Dữ liệu có cấu trúc: Luồng dữ liệu giữa các thành phần sẽ không thể thực hiện được nếu không tuân thủ một giản đồ duy nhất. Kết quả JSON có cấu trúc từ Gemini 2.0 Flash đảm bảo rằng mỗi thành phần trong quy trình công việc có thể nhận dạng dữ liệu thuộc bất kỳ loại nào và tạo ra kết quả trong cùng một cấu trúc, ngăn chặn tình trạng tắc nghẽn, giúp quá trình thực thi diễn ra suôn sẻ và đảm bảo ngay cả các quy trình công việc lớn cũng sẽ hoàn tất một cách đáng tin cậy.

• Tạo quy trình động: Ngoài việc thực thi các quy trình được xác định trước, Gemini 2.0 Flash còn có thể tạo các quy trình một cách linh động. Người dùng có thể nhập "tạo chiến dịch tiếp thị dựa trên nội dung mô tả sản phẩm này" và Gemini 2.0 Flash sẽ tạo các bước (quy trình) cần thiết và các thành phần bắt buộc, xây dựng quy trình công việc trên canvas dựa trên yêu cầu cấp cao của người dùng. Tính năng tạo nội dung động này mở ra tiềm năng to lớn cho trải nghiệm người dùng sáng tạo và quy trình làm việc đơn giản.

Việc triển khai nhanh chóng máy tính của tldraw làm nổi bật giá trị của Gemini đối với các công ty khởi nghiệp: tạo bản mô hình nhanh, nâng cao trải nghiệm người dùng thông qua giao diện ngôn ngữ tự nhiên trực quan và xử lý dữ liệu có cấu trúc hiệu quả nhờ các mô hình như Gemini 2.0 Flash. Sự kết hợp này giúp các nhóm nhỏ tạo ra các tính năng sáng tạo, dựa trên AI một cách nhanh chóng và tiết kiệm chi phí.