Shopify aide les marchands à réussir grâce à Sidekick, un assistant d'IA multimodale optimisé par l'API Live

Shopify est la principale plate-forme de commerce au monde. Elle fournit l'infrastructure essentielle pour lancer, développer et commercialiser une activité de vente au détail de toutes tailles. Afin d'améliorer l'expérience de ses marchands, l'équipe Shopify souhaitait proposer un assistant personnalisé et détaillé pour aider des millions d'entreprises à se lancer et à se développer dans plus de 175 pays.

Pour ce faire, ils ont développé Sidekick, un assistant IA conçu pour aider les marchands dans tous les domaines, de la conception à l'analyse. En intégrant le traitement de la voix et de la vidéo via l'API Live, Sidekick est un assistant commercial interactif et performant qui peut aider les marchands en temps réel, souvent lors de leurs périodes les plus difficiles.

L'équipe Shopify souhaitait que Sidekick puisse associer de manière fluide les connaissances commerciales aux besoins spécifiques des marchands. En mode vocal, Sidekick peut aider les marchands à naviguer dans l'interface administrateur Shopify, à rechercher des ressources sur leur boutique, à obtenir des analyses sur les performances de leur boutique et à effectuer d'autres actions à l'aide d'outils. Il peut même vous aider à résoudre des problèmes en dehors de l'administration grâce à la fonctionnalité de partage d'écran.

En associant un raisonnement complexe à des interactions vocales, Sidekick offre une assistance solide loin d'un bureau, ce qui est essentiel pour les marchands qui sont souvent en déplacement, en réunion dans un entrepôt ou qui travaillent manuellement.

L'équipe Sidekick a utilisé Gemini 2.5 Flash Native Audio et l'API Live pour traiter l'audio et générer des voix réalistes avec une faible latence. Les conversations devaient être réactives, car les interruptions du flux conversationnel pouvaient nuire à l'expérience utilisateur et dissuader les utilisateurs de continuer à utiliser le produit. L'équipe a ajusté les signaux, le ton et la prise de parole (quand le robot doit interrompre et à quel point il doit être désireux de parler) pour rendre les interactions plus naturelles.

Ces fonctionnalités vocales et vidéo ont permis de contrer l'attente d'un simple chatbot, en évitant les pièges de nombreux assistants IA. "Les utilisateurs oublient souvent qu'ils parlent à une IA en moins d'une minute d'utilisation de Sidekick. Dans certains cas, ils ont même remercié le bot après une longue discussion", a déclaré David Wurtz, vice-président des produits.

La création d'un assistant IA performant et conversationnel a été un processus itératif. L'équipe Shopify est passée du prototypage avec les modèles Gemini dans Google AI Studio au test de la fonctionnalité auprès de vrais utilisateurs sur Vertex AI en seulement trois semaines.

De l'équipe marketing à l'équipe des opérations, tous sont là pour aider les marchands à développer leur activité grâce à leur plate-forme intégrée. "C'est une période passionnante pour les entrepreneurs. Les nouvelles fonctionnalités d'IA, comme celles proposées par Gemini, permettent à nos marchands de réussir."