Shopify membantu penjual meraih kesuksesan dengan Sidekick, asisten AI multimodal yang didukung Live API

Shopify adalah platform perdagangan global terkemuka yang menyediakan infrastruktur penting untuk memulai, menskalakan, dan memasarkan bisnis retail berskala kecil maupun besar. Dalam upaya berkelanjutan untuk meningkatkan pengalaman bagi penjualnya, tim Shopify ingin menawarkan asisten yang dipersonalisasi dan mendalam untuk membantu jutaan bisnis memulai dan menskalakan di lebih dari 175 negara.

Untuk mencapai hal ini, mereka mengembangkan Sidekick, asisten AI yang dirancang untuk berpartner dengan penjual dalam segala hal, mulai dari desain hingga analisis. Dengan mengintegrasikan pemrosesan suara dan video melalui Live API, Sidekick menjadi asisten komersial interaktif dan mumpuni yang dapat membantu secara real-time, sering kali dalam masa-masa yang paling sulit bagi penjual.

Tim Shopify ingin agar Sidekick dapat secara lancar menghubungkan pengetahuan perdagangan dengan kebutuhan unik para penjual. Dalam mode suara, Sidekick dapat membantu penjual menavigasi admin Shopify, menelusuri referensi toko, membuat analisis performa toko, dan melakukan tindakan lainnya melalui alat. Sidekick bahkan dapat membantu memecahkan masalah di luar admin melalui fitur berbagi layar.

Dengan memadukan penalaran yang kompleks dengan interaksi yang didukung suara, Sidekick memberikan dukungan yang andal walaupun penjual tidak berada di depan komputer. Kemampuan ini sangat penting bagi penjual yang sering bepergian, melakukan rapat di gudang, atau sibuk bekerja.

Tim Sidekick menggunakan Audio Native Gemini 2.5 Flash dan Live API untuk memproses audio dan menghasilkan ucapan yang terdengar realistis dengan latensi rendah. Percakapan harus terasa responsif, karena gangguan dalam alur percakapan dapat merusak pengalaman pengguna dan membuat pengguna enggan menggunakannya. Tim menyesuaikan isyarat, nada, dan pergantian giliran—kapan bot harus menyela dan seberapa antusias bot harus berbicara—untuk membuat interaksi terasa lebih alami.

Kemampuan suara dan video ini memutarbalikkan ekspektasi pengguna akan chatbot sederhana karena mampu menghindari kekurangan banyak asisten AI. “Pengguna sering kali lupa bahwa mereka sedang berbicara dengan AI dalam waktu satu menit setelah menggunakan Sidekick, dan dalam beberapa kasus, mereka berterima kasih kepada bot setelah melakukan percakapan yang panjang,” kata David Wurtz, VP of Product.

Membuat asisten AI yang terasa kompeten dan mampu melakukan percakapan adalah pekerjaan yang membutuhkan iterasi. Tim Shopify beralih dari pembuatan prototipe dengan model Gemini di Google AI Studio ke pengujian fitur dengan pengguna sungguhan di Vertex AI hanya dalam waktu tiga minggu.

Mulai dari pemasaran hingga operasi, tim selalu berupaya membantu penjual mengembangkan bisnis mereka dengan platform terintegrasi. Wurtz mengatakan, “Ini adalah saat yang tepat untuk menjadi seorang wirausahawan. Kemampuan AI baru seperti yang ditawarkan melalui Gemini memberdayakan penjual kami untuk meraih kesuksesan.”