Gemini Live API overview

L'API Live permet des interactions vocales et visuelles en temps réel et à faible latence avec Gemini. Elle traite des flux continus d'audio, d'images et de texte pour fournir des réponses vocales immédiates et semblables à celles d'un humain, créant ainsi une expérience de conversation naturelle pour vos utilisateurs.

Cas d'utilisation

L'API Live peut être utilisée pour créer des agents vocaux en temps réel dans divers secteurs, y compris les suivants :

• E-commerce et vente au détail : assistants d'achat qui proposent des recommandations personnalisées et agents d'assistance qui résolvent les problèmes des clients.
• Jeux vidéo : personnages non joueurs (PNJ) interactifs, assistants d'aide dans le jeu et traduction en temps réel du contenu du jeu.
• Interfaces de nouvelle génération : expériences vocales et vidéo dans la robotique, les lunettes connectées et les véhicules.
• Santé : compagnons de santé pour l'assistance et l'éducation des patients.
• Services financiers : conseillers IA pour la gestion de patrimoine et les conseils en investissement.
• Éducation : mentors IA et compagnons d'apprentissage qui fournissent des instructions et des commentaires personnalisés.

Principales fonctionnalités

L'API Live offre un ensemble complet de fonctionnalités pour créer des agents vocaux robustes :

• Compatibilité multilingue: Conversez dans 70 langues compatibles.
• Interruption: les utilisateurs peuvent interrompre le modèle à tout moment pour des interactions réactives.
• Utilisation d'outils : intègre des outils tels que l'appel de fonction et la recherche Google pour des interactions dynamiques.
• Transcriptions audio: fournit des transcriptions textuelles des entrées utilisateur et des sorties du modèle.
• Audio proactif: vous permet de contrôler quand le modèle répond et dans quels contextes.
• **Dialogue affectif** : adapte le style et le ton de la réponse en fonction de l'expression de l'entrée de l'utilisateur.

Spécifications techniques

Le tableau suivant présente les spécifications techniques de l'API Live :

Choisir une approche d'implémentation

Lorsque vous intégrez l'API Live, vous devez choisir l'une des approches d'implémentation suivantes :

• Serveur à serveur : votre backend se connecte à l'API Live à l'aide de WebSockets. En règle générale, votre client envoie des données de flux (audio, vidéo, texte) à votre serveur, qui les transmet ensuite à l'API Live.
• Client à serveur : votre code frontend se connecte directement à l'API Live à l'aide de WebSockets pour diffuser des données, en contournant votre backend.

Premiers pas

Sélectionnez le guide correspondant à votre environnement de développement :