Shopify pomaga sprzedawcom odnosić sukcesy dzięki Sidekick, multimodalnemu asystentowi AI opartemu na interfejsie Live API

Shopify to wiodąca globalna platforma handlowa, która zapewnia niezbędną infrastrukturę do zakładania, rozwijania i promowania firm detalicznych dowolnej wielkości. Zespół Shopify nieustannie dba o to, aby ułatwiać sprzedawcom prowadzenie działalności. Chciał zaoferować spersonalizowanego, zaawansowanego asystenta, który pomoże milionom firm rozpocząć działalność i skalować ją w ponad 175 krajach.

W tym celu stworzyli Sidekick, asystenta AI, który pomaga sprzedawcom we wszystkim, od projektowania po analizy. Dzięki integracji przetwarzania głosu i obrazu za pomocą Live API panel pomocniczy jest interaktywnym i wydajnym asystentem handlowym, który może pomagać w czasie rzeczywistym, często w najtrudniejszych okresach dla sprzedawców.

Zespół Shopify chciał, aby Sidekick płynnie łączył wiedzę o handlu z unikalnymi potrzebami sprzedawcy. W trybie głosowym Sidekick może pomagać sprzedawcom w poruszaniu się po panelu administracyjnym Shopify, wyszukiwaniu zasobów sklepu, pobieraniu danych analitycznych dotyczących skuteczności sklepu i wykonywaniu innych działań za pomocą narzędzi. Może nawet pomóc w rozwiązywaniu problemów poza administracją dzięki funkcji udostępniania ekranu.

Dzięki połączeniu złożonego rozumowania z interakcjami głosowymi Sidekick zapewnia solidne wsparcie poza biurkiem, co jest kluczowe dla sprzedawców, którzy często są w podróży, spotykają się w magazynie lub pracują fizycznie.

Zespół panelu pomocniczego użył Gemini 2.5 Flash Native Audio i interfejsu Live API do przetwarzania dźwięku i generowania realistycznie brzmiącej mowy z niskim opóźnieniem. Rozmowy musiały być płynne, ponieważ zakłócenia w ich przebiegu mogłyby pogorszyć wrażenia użytkowników i zniechęcić ich do korzystania z usługi. Zespół dostosował sygnały, ton i kolejność wypowiedzi – kiedy bot powinien przerywać i jak bardzo powinien być chętny do mówienia – aby interakcje były bardziej naturalne.

Te funkcje głosowe i wideo pomogły przełamać oczekiwanie, że będzie to prosty chatbot, i uniknąć pułapek wielu asystentów AI. „Użytkownicy często zapominają, że rozmawiają z AI, już po minucie korzystania z Sidekicka, a w niektórych przypadkach dziękują botowi po długiej rozmowie” – mówi David Wurtz, wiceprezes ds. produktów.

Stworzenie asystenta AI, który byłby kompetentny i potrafił prowadzić rozmowę, wymagało wielu iteracji. Zespół Shopify przeszedł od prototypowania z modelami Gemini w Google AI Studio do testowania funkcji z prawdziwymi użytkownikami w Vertex AI w zaledwie 3 tygodnie.

Zespół stale szuka sposobów na pomoc sprzedawcom w rozwoju ich firm za pomocą zintegrowanej platformy, od marketingu po operacje. Wurtz mówi: „To ekscytujący czas dla przedsiębiorców. Nowe funkcje AI, takie jak te oferowane przez Gemini, pomagają naszym sprzedawcom osiągać sukcesy”.