Gemini Memperkuat Pengalaman "Komputasi Natural Language" tldraw

Gemini API memungkinkan developer mengintegrasikan kemampuan AI lanjutan ke dalam aplikasi mereka dengan lancar, sehingga membuka kemungkinan baru untuk pengalaman dan fungsi pengguna. Postingan ini menyoroti cara tldraw memanfaatkan Gemini untuk membangun pengalaman "komputasi bahasa alami" yang revolusioner dalam project baru mereka, computer. Hal ini menunjukkan kecepatan dan kemudahan startup dalam mengintegrasikan AI yang canggih menggunakan Gemini API dan canvas SDK tldraw. Tim tldraw akan segera meluncurkan komputer dengan Gemini 1.5 Flash (bergabunglah ke daftar tunggu) dan saat ini sedang membuat prototipe dengan Gemini 2.0 Flash untuk iterasi mendatang.

tldraw menggunakan Gemini API untuk menghadirkan kemampuan AI percakapan ke pemrograman visual, sehingga pengguna dapat membuat konten dan memproses informasi menggunakan bahasa alami. Hal ini membuka peluang menarik untuk pengalaman pengguna yang lebih intuitif dan efisien seputar AI, yang mendorong batasan komunikasi visual.

tldraw, yang berupaya membuat diagram mudah diakses dan intuitif, membayangkan cara yang lebih alami bagi pengguna untuk berinteraksi dengan kanvas mereka. Pendiri Steve Ruiz berupaya memanfaatkan kecanggihan SDK kanvas tanpa batas tldraw untuk menciptakan lingkungan dinamis guna menggunakan AI generatif. Visi ini menghasilkan pengembangan computer, aplikasi eksperimental tempat pengguna membuat alur kerja dari blok teks, gambar, dan petunjuk. Saat dijalankan, informasi mengalir dari satu komponen ke komponen berikutnya, dengan output dari setiap generasi berfungsi sebagai input ke generasi berikutnya, sehingga menciptakan proses yang efektif yang bercabang, berulang, dan melakukan iterasi untuk menghasilkan output.

Komputer tldraw dibuat berdasarkan jaringan “komponen” yang saling terhubung yang mewakili elemen di kanvas (kotak teks, gambar, klip audio, dll.). Komponen ini ditautkan dengan panah, yang memvisualisasikan aliran data dan transformasi. Setiap komponen memiliki "prosedur" terkait—kumpulan petunjuk yang dijalankan berdasarkan input dari komponen yang terhubung. Komponen dapat menerima data dari sejumlah komponen lain dan meneruskan data outputnya ke banyak komponen lain—termasuk komponen itu sendiri. Arsitektur berbasis komponen ini, yang dikombinasikan dengan kekuatan dan kecepatan Flash Gemini 2.0, memungkinkan sistem yang cepat dan fleksibel yang mampu menangani berbagai tugas.

Berikut cara pembuatan prototipe Gemini 2.0 Flash mendukung pengalaman ini:

• Eksekusi Prosedur yang Secepat Kilat: Flash Gemini 2.0 mengeksekusi prosedur dengan cepat. Misalnya, komponen "Petunjuk" mungkin berisi "Tulis iklan singkat". Segera setelah dipicu, komponen akan menghasilkan skrip langkah-langkah yang dapat digunakan kembali yang dapat mengubah kombinasi input apa pun menjadi skrip komersial. Komponen kemudian akan menggunakan skrip ini, bersama dengan input saat ini (misalnya, komponen "Text" dengan "New AI-powered smartgloves for cats"), untuk membuat perintah kedua ke model untuk output akhirnya. Output ini dapat diteruskan ke komponen "Text" tertaut lainnya untuk ditampilkan, serta komponen terhubung lainnya, seperti "Speech" untuk text-to-speech, "Image" untuk pembuatan visual, atau komponen “Instruction” lainnya untuk transformasi lebih lanjut.

• Banyak Konteks, Banyak Mode: Karakteristik maksimalis di komputer tldraw memerlukan kecepatan, kapasitas, dan kemampuan. Dengan beberapa komponen yang menyediakan data untuk setiap generasi, jendela konteks besar Gemini 2.0 Flash sangat penting untuk menghasilkan output yang memperhitungkan semua input, seperti dukungannya untuk gambar dan file bersama dengan perintah tertulis.

• Data Terstruktur: Aliran data antar-komponen tidak akan mungkin dilakukan tanpa kepatuhan terhadap satu skema. Output JSON terstruktur dari Flash Gemini 2.0 memastikan bahwa setiap komponen dalam alur kerja dapat mengenali data dari jenis apa pun dan menghasilkan outputnya dalam struktur yang sama, mencegah macet, memperlancar eksekusi, dan memastikan alur kerja yang besar pun akan selesai dengan andal.

• Pembuatan Prosedur Dinamis: Selain menjalankan prosedur yang telah ditentukan sebelumnya, Gemini 2.0 Flash dapat membuat prosedur secara dinamis. Pengguna dapat memasukkan "buat kampanye pemasaran berdasarkan deskripsi produk ini", dan Gemini 2.0 Flash akan menghasilkan langkah-langkah (prosedur) yang diperlukan dan komponen yang diperlukan, membuat alur kerja di kanvas berdasarkan permintaan tingkat tinggi pengguna. Pembuatan dinamis ini membuka potensi yang luar biasa untuk pengalaman pengguna yang inovatif dan alur kerja yang disederhanakan.

Implementasi cepat komputer tldraw menyoroti proposisi nilai Gemini untuk startup: pembuatan prototipe yang cepat, pengalaman pengguna yang ditingkatkan melalui antarmuka bahasa alami yang intuitif, dan penanganan data terstruktur yang efisien berkat model seperti Gemini 2.0 Flash. Kombinasi ini memungkinkan tim kecil membuat fitur inovatif yang didukung AI dengan cepat dan hemat biaya.