Omówienie interfejsu Gemini Live API

Interfejs Live API umożliwia interakcje głosowe i wizualne z Gemini w czasie rzeczywistym z niewielkimi opóźnieniami. Przetwarza ciągłe strumienie dźwięku, obrazów i tekstu, aby dostarczać natychmiastowe, podobne do ludzkich odpowiedzi głosowe, tworząc naturalne doświadczenie konwersacyjne dla użytkowników.

Przypadki użycia

Interfejs Live API może być używany do tworzenia agentów głosowych w czasie rzeczywistym w różnych branżach, m.in.:

• E-commerce i handel detaliczny: asystenci zakupów, którzy oferują spersonalizowane rekomendacje, oraz agenci obsługi klienta, którzy rozwiązują problemy klientów.
• Gry: interaktywne postacie niezależne, pomoc w grze i tłumaczenie treści w czasie rzeczywistym.
• Interfejsy nowej generacji: funkcje głosowe i wideo w robotyce, okularach inteligentnych i pojazdach.
• Opieka zdrowotna: towarzysze zdrowia, którzy wspierają pacjentów i edukują ich.
• Usługi finansowe: doradcy AI w zakresie zarządzania majątkiem i inwestycjami.
• Edukacja: mentorzy i towarzysze uczniów oparte na AI, którzy zapewniają spersonalizowane instrukcje i opinie.
• Tłumaczenie i lokalizacja: tłumaczenie w czasie rzeczywistym z niskim opóźnieniem rozmów mówionych, co umożliwia bezproblemową komunikację w wielu językach.
• Transkrypcja i napisy na żywo: strumieniowanie mowy na tekst w czasie rzeczywistym na potrzeby napisów na żywo, transkrypcji spotkań, dyktowania głosowego i rejestrowania rozmów z klientami.

Najważniejsze funkcje

Interfejs Live API oferuje kompleksowy zestaw funkcji do tworzenia zaawansowanych agentów głosowych:

• Obsługa wielu języków: rozmawiaj w 70 obsługiwanych językach.
• Przerwanie: użytkownicy mogą w dowolnym momencie przerwać działanie modelu, aby uzyskać interaktywne odpowiedzi.
• Korzystanie z narzędzi: integruje narzędzia takie jak wywoływanie funkcji i wyszukiwarka Google, aby umożliwiać dynamiczne interakcje.
• Transkrypcje audio: udostępnia transkrypcje tekstowe zarówno danych wejściowych użytkownika, jak i danych wyjściowych modelu.
• Proaktywny dźwięk: pozwala kontrolować, kiedy i w jakich kontekstach model odpowiada.
• Dialog afektywny: dostosowuje styl i ton odpowiedzi do ekspresji użytkownika.
• Transkrypcja na żywo: ciągłe przesyłanie strumieniowe mowy na tekst w czasie rzeczywistym z automatycznym wykrywaniem języka i słownikiem niestandardowym.
• Tłumaczenie na żywo: tłumaczenie głosowe w czasie rzeczywistym w ponad 70 językach.

Specyfikacja techniczna

W tabeli poniżej znajdziesz dane techniczne interfejsu Live API:

Wybierz metodę implementacji

Podczas integracji z interfejsem Live API musisz wybrać jedną z tych metod implementacji:

• Serwer-serwer: backend łączy się z interfejsem Live API za pomocą WebSockets. Zwykle klient wysyła dane strumieniowe (audio, wideo, tekst) na serwer, który następnie przekazuje je do interfejsu Live API.
• Klient-serwer: kod frontendu łączy się bezpośrednio z interfejsem Live API za pomocą WebSockets, aby przesyłać strumieniowo dane z pominięciem backendu.

Rozpocznij

Wybierz przewodnik odpowiedni dla Twojego środowiska programistycznego: