Multimodal Live API

Die Multimodal Live API ermöglicht bidirektionale Sprach- und Videointeraktionen mit Gemini bei niedriger Latenz. Mit der Multimodal Live API können Sie Endnutzern natürliche, menschliche Konversationen bieten und ihnen die Möglichkeit geben, die Antworten des Modells per Sprachbefehl zu unterbrechen. Das Modell kann Text-, Audio- und Videoeingaben verarbeiten und Text- und Audioausgaben liefern.

Leistungsspektrum

Die Multimodal Live API bietet folgende Hauptfunktionen:

• Multimodalität:Das Modell kann sehen, hören und sprechen.
• Echtzeitinteraktion mit geringer Latenz:Ermöglicht schnelle Antworten.
• Sitzungsspeicher: Das Modell speichert alle Interaktionen innerhalb einer einzelnen Sitzung und ruft zuvor gehörte oder gesehene Informationen ab.
• Unterstützung für Funktionsaufrufe, Codeausführung und „Suchen als Tool“:Ermöglicht die Einbindung in externe Dienste und Datenquellen.
• Automatische Sprachaktivitätserkennung (VAD): Das Modell kann genau erkennen, wann der Nutzer zu sprechen beginnt und aufhört. Das ermöglicht natürliche, konversationelle Interaktionen und Nutzer können das Modell jederzeit unterbrechen.

Sie können die Multimodal Live API in Google AI Studio testen.

Jetzt starten

Die Multimodal Live API ist eine zustandsorientierte API, die WebSockets verwendet.

In diesem Abschnitt wird ein Beispiel für die Verwendung der Multimodal Live API für die Text-zu-Text-Generierung mit Python 3.9 oder höher gezeigt.

Gemini API-Bibliothek installieren

Verwenden Sie den folgenden pip-Befehl, um das Paket google-genai zu installieren:

!pip3 install google-genai

Abhängigkeiten importieren

So importieren Sie Abhängigkeiten:

from google import genai

SMS senden und empfangen

import asyncio
from google import genai

client = genai.Client(api_key="GEMINI_API_KEY", http_options={'api_version': 'v1alpha'})
model_id = "gemini-2.0-flash-exp"
config = {"response_modalities": ["TEXT"]}

async def main():
    async with client.aio.live.connect(model=model_id, config=config) as session:
        while True:
            message = input("User> ")
            if message.lower() == "exit":
                break
            await session.send(message, end_of_turn=True)

            async for response in session.receive():
                if response.text is None:
                    continue
                print(response.text, end="")

if __name__ == "__main__":
    asyncio.run(main())

Integrationsleitfaden

In diesem Abschnitt wird beschrieben, wie die Integration mit der Multimodal Live API funktioniert.

Sitzungen

Eine Sitzung stellt eine einzelne WebSocket-Verbindung zwischen dem Client und dem Gemini-Server dar.

Nachdem ein Client eine neue Verbindung gestartet hat, kann die Sitzung Nachrichten mit dem Server austauschen, um:

• Text, Audio oder Video an den Gemini-Server senden
• Audio-, Text- oder Funktionsaufrufantworten vom Gemini-Server empfangen.

Die Sitzungskonfiguration wird in der ersten Nachricht nach der Verbindung gesendet. Eine Sitzungskonfiguration umfasst das Modell, die Generierungsparameter, Systemanweisungen und Tools.

Hier eine Beispielkonfiguration:

{​​
  "model": string,
  "generation_config": {​
    "candidate_count": integer,
    "max_output_tokens": integer,
    "temperature": number,
    "top_p": number,
    "top_k": integer,
    "presence_penalty": number,
    "frequency_penalty": number,
    "response_modalities": string,
    "speech_config":object
  },

  "system_instruction": "",
  "tools":[]
}

Weitere Informationen finden Sie unter BidiGenerateContentSetup.

Nachrichten senden

Nachrichten sind JSON-formatierte Strings, die über die WebSocket-Verbindung ausgetauscht werden.

Um eine Nachricht zu senden, muss der Client eine unterstützte Clientnachricht in einem JSON-formatierten String über eine offene WebSocket-Verbindung senden.

Unterstützte Clientnachrichten

Die unterstützten Clientnachrichten findest du in der folgenden Tabelle:

Nachrichten empfangen

Wenn Sie Nachrichten von Gemini empfangen möchten, warten Sie auf das WebSocket-Ereignis „message“ und analysieren Sie das Ergebnis dann gemäß der Definition der unterstützten Servernachrichten.

Weitere Informationen finden Sie hier:

ws.addEventListener("message", async (evt) => {
  if (evt.data instanceof Blob) {
    // Process the received data (audio, video, etc.)
  } else {
    // Process JSON response
  }
});

Unterstützte Servernachrichten

Die unterstützten Servernachrichten finden Sie in der folgenden Tabelle:

Inkrementelle Inhaltsaktualisierungen

Verwenden Sie inkrementelle Updates, um Texteingaben zu senden, den Sitzungskontext zu erstellen oder wiederherzustellen. Bei kurzen Kontexten können Sie Schritt-für-Schritt-Interaktionen senden, um die genaue Abfolge der Ereignisse darzustellen. Bei längeren Kontexten wird empfohlen, eine einzelne Nachrichtenzusammenfassung anzugeben, um das Kontextfenster für die nachfolgenden Interaktionen freizugeben.

Hier ein Beispiel für eine Kontextnachricht:

{
  "client_content": {
    "turns": [
      {
          "parts":[
          {
            "text": ""
          }
        ],
        "role":"user"
      },
      {
          "parts":[
          {
            "text": ""
          }
        ],
        "role":"model"
      }
    ],
    "turn_complete": true
  }
}

Inhaltsteile können zwar vom Typ functionResponse sein, BidiGenerateContentClientContent sollte jedoch nicht verwendet werden, um eine Antwort auf die vom Modell gesendeten Funktionsaufrufe zu geben. Stattdessen sollte BidiGenerateContentToolResponse verwendet werden. BidiGenerateContentClientContent sollte nur verwendet werden, um den vorherigen Kontext herzustellen oder Text in die Unterhaltung einzugeben.

Audio- und Videostreaming

Funktionsaufrufe

Alle Funktionen müssen zu Beginn der Sitzung deklariert werden. Dazu müssen Sie Tooldefinitionen als Teil der BidiGenerateContentSetup-Nachricht senden.

Weitere Informationen zu Funktionsaufrufen finden Sie im Leitfaden zu Funktionsaufrufen.

Anhand eines einzelnen Prompts kann das Modell mehrere Funktionsaufrufe und den Code generieren, der zum Verketten der Ausgaben erforderlich ist. Dieser Code wird in einer Sandbox-Umgebung ausgeführt und generiert nachfolgende BidiGenerateContentToolCall-Nachrichten. Die Ausführung wird pausiert, bis die Ergebnisse der einzelnen Funktionsaufrufe verfügbar sind. So wird eine sequenzielle Verarbeitung sichergestellt.

Der Client sollte mit BidiGenerateContentToolResponse antworten.

Audioeingaben und ‑ausgaben beeinträchtigen die Fähigkeit des Modells, Funktionsaufrufe zu verwenden.

Audioformate

Die Multimodal Live API unterstützt die folgenden Audioformate:

• Audioformat für Eingabe: Rohes 16-Bit-PCM-Audio mit 16 kHz und Little Endian
• Audioausgabeformat: Rohes 16-Bit-PCM-Audio mit 24 kHz, Little Endian

Systemanweisungen

Sie können Systemanweisungen bereitstellen, um die Ausgabe des Modells besser zu steuern und den Ton und die Stimmung der Audioantworten anzugeben.

Systemanweisungen werden dem Prompt vor Beginn der Interaktion hinzugefügt und bleiben für die gesamte Sitzung aktiv.

Systemanweisungen können nur zu Beginn einer Sitzung festgelegt werden, unmittelbar nach der ersten Verbindung. Wenn Sie dem Modell während der Sitzung weitere Eingaben zur Verfügung stellen möchten, verwenden Sie inkrementelle Inhaltsaktualisierungen.

Unterbrechungen

Nutzer können die Ausgabe des Modells jederzeit unterbrechen. Wenn die Sprachaktivitätserkennung (VAD) eine Unterbrechung erkennt, wird die laufende Generierung abgebrochen und verworfen. Im Sitzungsverlauf werden nur die Informationen aufbewahrt, die bereits an den Client gesendet wurden. Der Server sendet dann eine BidiGenerateContentServerContent-Nachricht, um die Unterbrechung zu melden.

Außerdem verwirft der Gemini-Server alle ausstehenden Funktionsaufrufe und sendet eine BidiGenerateContentServerContent-Nachricht mit den IDs der abgebrochenen Aufrufe.

Stimmen

Die Multimodal Live API unterstützt die folgenden Stimmen: Aoede, Charon, Fenrir, Kore und Puck.

Wenn Sie eine Stimme angeben möchten, legen Sie das voice_name im Objekt speech_config als Teil der Sitzungskonfiguration fest.

Hier sehen Sie die JSON-Darstellung eines speech_config-Objekts:

{
  "voice_config": {
    "prebuilt_voice_config ": {
      "voice_name": <var>VOICE_NAME</var>
    }
  }
}

Beschränkungen

Beachten Sie bei der Planung Ihres Projekts die folgenden Einschränkungen der Multimodal Live API und Gemini 2.0.

Clientauthentifizierung

Die Multimodal Live API bietet nur eine Server-zu-Server-Authentifizierung und wird für die direkte Verwendung durch Clients nicht empfohlen. Die Clienteingabe sollte für eine sichere Authentifizierung mit der Multimodal Live API über einen Zwischenanwendungsserver geleitet werden.

Für Web- und mobile Apps empfehlen wir die Integration über unsere Partner von Daily.

Unterhaltungsverlauf

Das Modell überwacht zwar die Interaktionen während einer Sitzung, der Unterhaltungsverlauf wird jedoch nicht gespeichert. Wenn eine Sitzung endet, wird der entsprechende Kontext gelöscht.

Um eine vorherige Sitzung wiederherzustellen oder dem Modell den bisherigen Kontext der Nutzerinteraktionen zur Verfügung zu stellen, sollte die Anwendung ein eigenes Unterhaltungsprotokoll führen und diese Informationen zu Beginn einer neuen Sitzung mit einer BidiGenerateContentClientContent-Nachricht senden.

Maximale Sitzungsdauer

Die Sitzungsdauer ist auf 15 Minuten für Audio oder 2 Minuten für Audio und Video beschränkt. Wenn die Sitzungsdauer das Limit überschreitet, wird die Verbindung beendet.

Das Modell ist außerdem durch die Kontextgröße begrenzt. Wenn du neben den Video- und Audiostreams große Inhaltsblöcke sendest, kann die Sitzung früher beendet werden.

Erkennung der Sprachaktivitäten (VAD)

Das Modell führt automatisch eine Sprachaktivitätserkennung (VAD) auf einem kontinuierlichen Audioeingangsstream aus. Die Sprachaktivitätserkennung ist immer aktiviert und ihre Parameter können nicht konfiguriert werden.

Tokenanzahl

Die Tokenanzahl wird nicht unterstützt.

Ratenlimits

Es gelten die folgenden Ratenbegrenzungen:

• 3 gleichzeitige Sitzungen pro API-Schlüssel
• 4 Millionen Tokens pro Minute

Nachrichten und Ereignisse

Weitere Informationen zu gängigen Typen

Weitere Informationen zu den gängigen API-Ressourcentypen Blob, Content, FunctionCall, FunctionResponse, GenerationConfig, GroundingMetadata und Tool finden Sie unter Inhalte generieren.