Shopify membantu penjual meraih kesuksesan dengan Sidekick, asisten AI multimodal yang didukung oleh Live API

Shopify adalah platform perdagangan global terkemuka, yang menyediakan infrastruktur penting yang diperlukan untuk memulai, menskalakan, dan memasarkan bisnis retail dari berbagai ukuran. Dalam upaya berkelanjutan untuk meningkatkan pengalaman bagi penjualnya, tim Shopify ingin menawarkan asisten yang dipersonalisasi dan mendalam untuk membantu jutaan bisnis memulai dan menskalakan di lebih dari 175 negara.

Untuk mencapai hal ini, mereka mengembangkan Sidekick, asisten AI yang dirancang untuk berpartner dengan penjual dalam segala hal, mulai dari desain hingga analisis. Dengan mengintegrasikan pemrosesan suara dan video melalui Live API, Sidekick menjadi asisten komersial interaktif yang mumpuni dan dapat membantu secara real-time, sering kali selama periode paling sulit bagi penjual.

Tim Shopify ingin Sidekick menghubungkan pengetahuan perdagangan dengan lancar ke kebutuhan unik penjual. Dalam mode suara, Sidekick dapat membantu penjual menavigasi admin Shopify, menelusuri referensi toko, menarik analisis performa toko, dan tindakan lainnya melalui alat. Bahkan, fitur ini dapat membantu memecahkan masalah di luar admin melalui fitur berbagi layar.

Dengan memadukan penalaran yang kompleks dengan interaksi yang didukung suara, Sidekick memberikan dukungan yang andal saat Anda tidak berada di depan komputer—hal ini sangat penting bagi penjual yang sering bepergian, bertemu di gudang, atau bekerja dengan tangan mereka.

Tim Sidekick menggunakan Audio Native Gemini 2.5 Flash dan Live API untuk memproses audio dan menghasilkan ucapan yang terdengar realistis dengan latensi rendah. Percakapan harus terasa responsif, karena gangguan dalam alur percakapan dapat merusak pengalaman pengguna dan membuat pengguna enggan menggunakannya. Tim menyesuaikan isyarat, nada, dan pergantian giliran bicara—kapan bot harus menyela dan seberapa antusias bot harus berbicara—untuk membuat interaksi terasa lebih alami.

Kemampuan suara dan video ini membantu menetralkan ekspektasi chatbot sederhana, sehingga menghindari jebakan banyak asisten AI. “Pengguna sering kali lupa bahwa mereka sedang berbicara dengan AI dalam waktu satu menit setelah menggunakan Sidekick, dan dalam beberapa kasus, mereka berterima kasih kepada bot setelah melakukan percakapan yang panjang,” kata David Wurtz, VP of Product.

Membuat asisten AI yang terasa kompeten dan percakapan adalah tugas berulang. Tim Shopify beralih dari pembuatan prototipe dengan model Gemini di Google AI Studio ke pengujian fitur dengan pengguna sungguhan di Vertex AI hanya dalam waktu tiga minggu.

Mulai dari pemasaran hingga operasi, tim selalu berupaya membantu penjual mengembangkan bisnis mereka dengan platform terintegrasi. Wurtz mengatakan, “Ini adalah saat yang tepat untuk menjadi seorang wirausahawan. Kemampuan AI baru seperti yang ditawarkan melalui Gemini memberdayakan penjual kami untuk meraih kesuksesan.”