Übersicht über die Gemini Live API

Die Live API ermöglicht latenzarme Sprach- und Bildinteraktionen mit Gemini in Echtzeit. Sie verarbeitet kontinuierliche Audio-, Bild- und Textstreams und liefert sofortige, menschenähnliche gesprochene Antworten, wodurch eine natürliche Unterhaltung für Ihre Nutzer entsteht.

Anwendungsfälle

Mit der Live API können Sprachagenten in Echtzeit für eine Vielzahl von Branchen erstellt werden, darunter:

• E-Commerce und Einzelhandel:Einkaufsassistenten, die personalisierte Empfehlungen geben, und Supportagenten, die Kundenprobleme lösen.
• Gaming:Interaktive Non-Player Characters (NPCs), In-Game-Hilfeassistenten und Echtzeitübersetzung von In-Game-Inhalten.
• Schnittstellen der nächsten Generation:Sprach- und videofähige Erlebnisse in der Robotik, bei Smart Glasses und in Fahrzeugen.
• Gesundheitswesen:Gesundheitsbegleiter für die Patientenunterstützung und ‑aufklärung.
• Finanzdienstleistungen:KI-Berater für die Vermögensverwaltung und Anlageberatung.
• Bildung:KI-Mentoren und Lernbegleiter, die personalisierten Unterricht und personalisiertes Feedback bieten.
• Übersetzung und Lokalisierung:Latenzarme Übersetzung gesprochener Unterhaltungen in Echtzeit, die eine nahtlose mehrsprachige Kommunikation ermöglicht.
• Automatische Transkription und Untertitelung:Speech-to-Text-Streaming in Echtzeit für Live-Untertitel, Besprechungstranskriptionen, Sprachdiktate und Protokollierung von Kundenanrufen.

Wichtige Features

Die Live API bietet eine umfassende Reihe von Funktionen zum Erstellen robuster Sprachagenten:

• Mehrsprachiger Support: Unterhaltungen in 70 unterstützten Sprachen.
• Barge-in: Nutzer können das Modell jederzeit unterbrechen, um reaktionsschnelle Interaktionen zu ermöglichen.
• Tool-Nutzung: Tools wie Funktionsaufrufe und die Google Suche für dynamische Interaktionen einbinden.
• Audio-Transkriptionen: Texttranskripte der Nutzereingabe und der Modellausgabe bereitstellen.
• Proaktive Audioeingabe: Sie können festlegen, wann und in welchen Kontexten das Modell antwortet.
• Affektiver Dialog: Antwortstil und Tonfall an die Ausdrucksweise des Nutzers anpassen.
• Automatische Transkription in Echtzeit: Kontinuierliches Speech-to-Text-Streaming in Echtzeit mit automatischer Spracherkennung und benutzerdefiniertem Vokabular.
• Live-Übersetzung: Sprachübersetzung in Echtzeit in über 70 Sprachen.

Technische Spezifikationen

In der folgenden Tabelle sind die technischen Spezifikationen für die Live API aufgeführt:

Implementierungsansatz auswählen

Bei der Einbindung in die Live API müssen Sie einen der folgenden Implementierungsansätze auswählen:

• Server-zu-Server: Ihr Back-End stellt über WebSockets eine Verbindung zur Live API her. In der Regel sendet Ihr Client Streamdaten (Audio, Video, Text) an Ihren Server, der sie dann an die Live API weiterleitet.
• Client-zu-Server: Ihr Front-End-Code stellt über WebSockets direkt eine Verbindung zur Live API her, um Daten zu streamen. Ihr Back-End wird dabei umgangen.

Jetzt starten

Wählen Sie die Anleitung aus, die zu Ihrer Entwicklungsumgebung passt: