Gemini hỗ trợ trải nghiệm "Xử lý ngôn ngữ tự nhiên" của tldraw

Gemini API giúp các nhà phát triển tích hợp liền mạch các chức năng AI tiên tiến vào ứng dụng của họ, mở ra những khả năng mới cho trải nghiệm người dùng và chức năng. Bài đăng này nêu bật cách tldraw tận dụng Gemini để tạo ra trải nghiệm "điện toán bằng ngôn ngữ tự nhiên" mang tính cách mạng trong dự án mới của họ, computer. Điều này minh hoạ tốc độ và mức độ dễ dàng mà các công ty khởi nghiệp có thể tích hợp AI mạnh mẽ bằng cách sử dụng Gemini API và canvas SDK của tldraw. Nhóm tldraw sắp ra mắt computer có tích hợp Gemini 1.5 Flash (tham gia danh sách chờ) và hiện đang tạo mẫu bằng Gemini 2.0 Flash cho các lần lặp lại trong tương lai.

tldraw đang sử dụng Gemini API để mang sức mạnh của AI đàm thoại vào lập trình trực quan, cho phép người dùng tạo nội dung và xử lý thông tin bằng ngôn ngữ tự nhiên. Điều này mở ra những cơ hội thú vị để mang đến trải nghiệm người dùng trực quan và hiệu quả hơn về AI, đồng thời mở rộng ranh giới của giao tiếp bằng hình ảnh.

tldraw, luôn nỗ lực để giúp việc lập sơ đồ trở nên dễ dàng và trực quan, đã hình dung ra một cách tự nhiên hơn để người dùng tương tác với canvas của họ. Nhà sáng lập Steve Ruiz đã tìm cách tận dụng sức mạnh của SDK canvas vô hạn của tldraw để tạo ra một môi trường linh hoạt cho việc sử dụng AI tạo sinh. Tầm nhìn này đã dẫn đến việc phát triển computer, một ứng dụng thử nghiệm nơi người dùng tạo quy trình làm việc từ các khối văn bản, hình ảnh và hướng dẫn. Khi chạy, thông tin sẽ chuyển từ thành phần này sang thành phần khác, trong đó đầu ra của mỗi thế hệ đóng vai trò là đầu vào cho thế hệ tiếp theo, tạo ra các quy trình mạnh mẽ có thể phân nhánh, lặp lại và lặp lại để tạo ra đầu ra.

Máy tính của tldraw được xây dựng dựa trên một mạng lưới các "thành phần" kết nối với nhau, đại diện cho các phần tử trên canvas (hộp văn bản, hình ảnh, đoạn âm thanh, v.v.). Các thành phần này được liên kết bằng mũi tên, giúp hình dung luồng dữ liệu và các phép biến đổi. Mỗi thành phần đều có "quy trình" liên quan – tập hợp các hướng dẫn được thực thi dựa trên đầu vào từ các thành phần được kết nối. Một thành phần có thể chấp nhận dữ liệu từ bất kỳ số lượng thành phần nào khác và truyền dữ liệu đầu ra của thành phần đó đến nhiều thành phần khác (kể cả chính thành phần đó!). Kiến trúc dựa trên thành phần này, kết hợp với sức mạnh và tốc độ của Gemini 2.0 Flash, tạo ra một hệ thống nhanh chóng và linh hoạt, có khả năng xử lý nhiều tác vụ.

Sau đây là cách mà hoạt động tạo mẫu Gemini 2.0 Flash đã mang lại trải nghiệm này:

• Thực thi quy trình cực nhanh: Gemini 2.0 Flash thực thi các quy trình một cách nhanh chóng. Ví dụ: thành phần "Hướng dẫn" có thể chứa nội dung "Viết một đoạn quảng cáo ngắn". Trong vòng vài giây sau khi được kích hoạt, thành phần này sẽ tạo ra một tập lệnh gồm các bước có thể tái sử dụng để biến mọi tổ hợp đầu vào thành một tập lệnh thương mại. Sau đó, thành phần này sẽ dùng tập lệnh này cùng với các đầu vào hiện tại (ví dụ: thành phần "Văn bản" có nội dung "Găng tay thông minh mới dùng AI cho mèo") để đưa ra câu lệnh thứ hai cho mô hình nhằm tạo đầu ra cuối cùng. Đầu ra này có thể được truyền đến một thành phần "Văn bản" được liên kết khác để hiển thị, cũng như các thành phần được kết nối khác, chẳng hạn như "Lời nói" để chuyển văn bản sang lời nói, "Hình ảnh" để tạo hình ảnh hoặc các thành phần "Hướng dẫn" khác để chuyển đổi thêm.

• Nhiều ngữ cảnh, nhiều chế độ: Máy tính của tldraw có xu hướng tối đa hoá tốc độ, dung lượng và khả năng. Với nhiều thành phần cung cấp dữ liệu cho mỗi thế hệ, cửa sổ ngữ cảnh lớn của Gemini 2.0 Flash đóng vai trò quan trọng trong việc tạo ra những kết quả có tính đến tất cả các đầu vào, cũng như khả năng hỗ trợ hình ảnh và tệp cùng với câu lệnh bằng văn bản.

• Dữ liệu có cấu trúc: Không thể có luồng dữ liệu giữa các thành phần nếu không tuân thủ một giản đồ duy nhất. Đầu ra JSON có cấu trúc từ Gemini 2.0 Flash đảm bảo rằng mỗi thành phần trong quy trình làm việc đều có thể nhận dạng dữ liệu thuộc mọi loại và tạo ra đầu ra theo cùng một cấu trúc, ngăn chặn tình trạng tắc nghẽn, giúp quá trình thực thi diễn ra suôn sẻ và đảm bảo ngay cả những quy trình làm việc lớn cũng sẽ hoàn tất một cách đáng tin cậy.

• Tạo quy trình linh hoạt: Ngoài việc thực thi các quy trình được xác định trước, Gemini 2.0 Flash còn có thể tạo quy trình một cách linh hoạt. Người dùng có thể nhập "tạo chiến dịch tiếp thị dựa trên nội dung mô tả sản phẩm này" và Gemini 2.0 Flash sẽ tạo các bước (quy trình) cần thiết và các thành phần bắt buộc, xây dựng quy trình làm việc trên canvas dựa trên yêu cầu chung của người dùng. Việc tạo nội dung động này mở ra tiềm năng to lớn cho trải nghiệm người dùng sáng tạo và quy trình làm việc tinh giản.

Việc tldraw nhanh chóng triển khai các điểm nổi bật trên máy tính cho thấy đề xuất giá trị của Gemini đối với các công ty khởi nghiệp: tạo nguyên mẫu nhanh chóng, nâng cao trải nghiệm người dùng thông qua giao diện ngôn ngữ tự nhiên trực quan và xử lý dữ liệu có cấu trúc một cách hiệu quả nhờ các mô hình như Gemini 2.0 Flash. Sự kết hợp này giúp các nhóm nhỏ tạo ra những tính năng sáng tạo, dựa trên AI một cách nhanh chóng và tiết kiệm chi phí.