Panoramica dell'API Gemini Live

L'API Live consente interazioni vocali e visive a bassa latenza e in tempo reale con Gemini. Elabora flussi continui di audio, immagini e testo per fornire risposte parlate immediate e simili a quelle umane, creando un'esperienza conversazionale naturale per gli utenti.

Casi d'uso

L'API Live può essere utilizzata per creare agenti vocali in tempo reale per una varietà di settori, tra cui:

• E-commerce e vendita al dettaglio: assistenti per lo shopping che offrono consigli personalizzati e agenti di assistenza che risolvono i problemi dei clienti.
• Gaming:personaggi non giocanti (NPC) interattivi, assistenti di aiuto in-game e traduzione in tempo reale dei contenuti in-game.
• Interfacce di nuova generazione:esperienze abilitate per voce e video in robotica, occhiali smart e veicoli.
• Sanità: assistenti per la salute per l'assistenza e l'educazione dei pazienti.
• Servizi finanziari:consulenti AI per la gestione patrimoniale e la consulenza sugli investimenti.
• Istruzione:mentori AI e compagni di apprendimento che forniscono istruzioni e feedback personalizzati.
• Traduzione e localizzazione:traduzione in tempo reale e a bassa latenza di conversazioni parlate, consentendo una comunicazione multilingue senza interruzioni.
• Trascrizione e sottotitoli codificati in tempo reale:streaming della conversione della voce in testo in tempo reale per sottotitoli codificati in tempo reale, trascrizione delle riunioni, dettatura vocale e registrazione delle chiamate dei clienti.

Funzionalità principali

L'API Live offre un insieme completo di funzionalità per la creazione di agenti vocali robusti:

• Supporto multilingue: Comunica in 70 lingue supportate.
• Interruzione: Gli utenti possono interrompere il modello in qualsiasi momento per interazioni reattive.
• Uso di strumenti: integra strumenti come la chiamata di funzioni e la Ricerca Google per interazioni dinamiche.
• Trascrizioni audio: Fornisce trascrizioni di testo sia dell'input dell'utente che dell'output del modello.
• Audio proattivo: Consente di controllare quando e in quali contesti il modello risponde.
• Dialogo empatico: Adatta lo stile e il tono della risposta in base all'espressione dell'input dell'utente.
• Trascrizione Istantanea: Streaming continuo di conversione della voce in testo in tempo reale con rilevamento automatico della lingua e vocabolario personalizzato.
• Traduzione dal vivo: Traduzione vocale in tempo reale in oltre 70 lingue.

Specifiche tecniche

La seguente tabella descrive le specifiche tecniche dell'API Live:

Scegliere un approccio di implementazione

Quando esegui l'integrazione con l'API Live, devi scegliere uno dei seguenti approcci di implementazione:

• Da server a server: il backend si connette all'API Live utilizzando WebSockets. In genere, il client invia i dati dello stream (audio, video, testo) al server, che a sua volta li inoltra all'API Live.
• Da client a server: il codice frontend si connette direttamente all'API Live utilizzando WebSockets per trasmettere i dati in streaming, bypassando il backend.

Inizia

Seleziona la guida corrispondente al tuo ambiente di sviluppo: