Übersicht über die Gemini Live API

Die Live API ermöglicht latenzarme Sprach- und Videointeraktionen mit Gemini in Echtzeit. Sie verarbeitet kontinuierliche Audio-, Bild- und Textstreams und liefert sofortige, menschenähnliche gesprochene Antworten, wodurch eine natürliche Unterhaltung für Ihre Nutzer entsteht.

Anwendungsfälle

Mit der Live API können Sprachagenten in Echtzeit für eine Vielzahl von Branchen erstellt werden, darunter:

• E-Commerce und Einzelhandel:Einkaufsassistenten, die personalisierte Empfehlungen geben, und Supportagenten, die Kundenprobleme lösen.
• Gaming:Interaktive Non-Player Characters (NPCs), In-Game-Hilfeassistenten und Echtzeitübersetzung von In-Game-Inhalten.
• Schnittstellen der nächsten Generation:Sprach- und videofähige Erlebnisse in Robotik, Smart Glasses und Fahrzeugen.
• Gesundheitswesen:Gesundheitsbegleiter für die Unterstützung und Aufklärung von Patienten.
• Finanzdienstleistungen:KI-Berater für die Vermögensverwaltung und Anlageberatung.
• Bildung:KI-Mentoren und Lernbegleiter, die personalisierten Unterricht und personalisiertes Feedback bieten.
• Übersetzung und Lokalisierung:Latenzarme Übersetzung gesprochener Unterhaltungen in Echtzeit, die eine nahtlose mehrsprachige Kommunikation ermöglicht.
• Automatische Transkription und Untertitelung:Echtzeit-Streaming von Sprache zu Text für Live-Untertitel, Besprechungstranskriptionen, Sprachdiktate und Protokollierung von Kundenanrufen.

Wichtige Features

Die Live API bietet eine umfassende Reihe von Funktionen zum Erstellen robuster Sprachagenten:

• Mehrsprachiger Support: Unterhaltungen in 70 unterstützten Sprachen.
• Barge-in: Nutzer können das Modell jederzeit unterbrechen, um reaktionsschnelle Interaktionen zu ermöglichen.
• Tool-Nutzung: Tools wie Funktionsaufrufe und die Google Suche für dynamische Interaktionen einbinden.
• Audio-Transkriptionen: Texttranskripte von Nutzereingaben und Modellausgaben.
• Proaktive Audioeingabe: Sie können steuern, wann und in welchen Kontexten das Modell antwortet.
• Affektiver Dialog: Anpassung des Antwortstils und des Tonfalls an die Ausdrucksweise der Nutzereingabe.
• Automatische Transkription: Kontinuierliches Streaming von Sprache zu Text in Echtzeit mit automatischer Spracherkennung und benutzerdefiniertem Vokabular.
• Live-Übersetzung: Sprachübersetzung in Echtzeit in über 70 Sprachen.

Technische Spezifikationen

In der folgenden Tabelle sind die technischen Spezifikationen für die Live API aufgeführt:

Implementierungsansatz auswählen

Bei der Integration mit der Live API müssen Sie einen der folgenden Implementierungsansätze auswählen:

• Server-zu-Server: Ihr Back-End stellt über WebSockets eine Verbindung zur Live API her. In der Regel sendet Ihr Client Streamdaten (Audio, Video, Text) an Ihren Server, der sie dann an die Live API weiterleitet.
• Client-zu-Server: Ihr Front-End-Code stellt über WebSockets direkt eine Verbindung zur Live API her, um Daten zu streamen. Ihr Back-End wird dabei umgangen.

Jetzt starten

Wählen Sie die Anleitung aus, die zu Ihrer Entwicklungsumgebung passt: