Live API מאפשר אינטראקציות קוליות וויזואליות בזמן אמת עם Gemini עם זמן טעינה נמוך. היא מעבדת זרמים רציפים של אודיו, תמונות וטקסט כדי לספק תשובות מיידיות בדיבור שנשמע כמו דיבור אנושי, וכך ליצור חוויה טבעית של שיחה למשתמשים.
תרחישים לדוגמה
אפשר להשתמש ב-Live API כדי ליצור סוכנים קוליים בזמן אמת למגוון תעשיות, כולל:
- מסחר אלקטרוני וקמעונאות: עוזרים לקניות שמציעים המלצות מותאמות אישית וסוכני תמיכה שמטפלים בבעיות של לקוחות.
- גיימינג: דמויות אינטראקטיביות שאי אפשר לשחק איתן (NPC), עוזרים במשחק ותרגום בזמן אמת של תוכן במשחק.
- ממשקי דור הבא: חוויות מבוססות קול ווידאו ברובוטיקה, במשקפיים חכמים ובכלי רכב.
- שירותי בריאות: עוזרים בתחום הבריאות לתמיכה בחולים ולחינוך שלהם.
- שירותים פיננסיים: יועצים מבוססי-AI לניהול הון וייעוץ בנושא השקעות.
- חינוך: מנטורים מבוססי-AI ועוזרי למידה שמספקים הדרכה ומשוב בהתאמה אישית.
- תרגום ולוקליזציה: תרגום בזמן אמת של שיחות בדיבור עם זמן אחזור נמוך, שמאפשר תקשורת חלקה בכמה שפות.
- תמלול וכתוביות בזמן אמת: המרת דיבור לטקסט (STT) בזמן אמת ליצירת כתוביות בזמן אמת, תמלול פגישות, הכתבה קולית ורישום שיחות עם לקוחות.
תכונות עיקריות
ממשק API בזמן אמת מציע קבוצה מקיפה של תכונות לבניית סוכנים קוליים חזקים:
- תמיכה רב-לשונית: אפשר לנהל שיחות ב-70 שפות נתמכות.
- התפרצות לשיחה: המשתמשים יכולים להפריע למודל בכל שלב כדי לנהל אינטראקציות דינמיות.
- שימוש בכלים: משלב כלים כמו קריאה לפונקציות וחיפוש Google לאינטראקציות דינמיות.
- תמלולי אודיו: מספק תמלילי טקסט של קלט של משתמשים והפלט מהמודל.
- אודיו פרואקטיבי: מאפשר לכם לקבוע מתי המודל יגיב ובאילו הקשרים.
- שיחה מותאמת-רגש: התאמת סגנון התגובה והטון בהתאם לביטוי הקלט של המשתמש.
- תמלול בזמן אמת: סטרימינג רציף של דיבור לטקסט בזמן אמת, עם זיהוי שפה אוטומטי ומילון מותאם אישית.
- תרגום בזמן אמת: תרגום קולי בזמן אמת ביותר מ-70 שפות.
מפרטים טכניים
בטבלה הבאה מפורטות המפרטים הטכניים של Live API:
| קטגוריה | פרטים |
|---|---|
| אמצעי קלט | אודיו (אודיו PCM גולמי של 16 ביט, 16kHz, little-endian), תמונות (JPEG <= 1FPS), טקסט |
| אופנויות פלט | אודיו (אודיו PCM גולמי של 16 ביט, 24kHz, little-endian) |
| פרוטוקול | חיבור WebSocket עם שמירת מצב (WSS) |
בחירת גישת הטמעה
כשמשלבים את Live API, צריך לבחור אחת מגישות ההטמעה הבאות:
- שרת לשרת: הקצה העורפי מתחבר ל-Live API באמצעות WebSockets. בדרך כלל, הלקוח שולח נתוני שידור (אודיו, וידאו, טקסט) לשרת, והשרת מעביר אותם ל-Live API.
- לקוח לשרת: קוד הפרונט-אנד מתחבר ישירות ל-Live API באמצעות WebSockets כדי להזרים נתונים, בלי לעבור דרך הבק-אנד.
שנתחיל?
בוחרים את המדריך שמתאים לסביבת הפיתוח:
מדריך ל-GenAI SDK
מתחברים ל-Gemini Live API באמצעות GenAI SDK כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם קצה עורפי של Python.
WebSocket tutorial
אפשר להתחבר ל-Gemini Live API באמצעות WebSockets כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם חזית קצה (frontend) ב-JavaScript וטוקנים זמניים.
מדריך ל-ADK
יוצרים סוכן ומשתמשים ב-Agent Development Kit (ADK) Streaming כדי להפעיל תקשורת קולית ווידאו.
שילובים עם שותפים
כדי לייעל את הפיתוח של אפליקציות אודיו ווידאו בזמן אמת, אפשר להשתמש בשילוב של צד שלישי שתומך ב-API של Gemini Live דרך WebRTC או WebSockets.
LiveKit
איך משתמשים ב-Gemini Live API עם סוכני LiveKit.
Pipecat by Daily
איך יוצרים צ'אט בוט מבוסס-AI בזמן אמת באמצעות Gemini Live ו-Pipecat.
Fishjam by Software Mansion
יצירת אפליקציות לסטרימינג של וידאו ואודיו בשידור חי באמצעות Fishjam.
סוכני Vision לפי Stream
פיתוח אפליקציות AI של קול ווידאו בזמן אמת באמצעות סוכני Vision.
Voximplant
אפשר לקשר שיחות נכנסות ויוצאות ל-Live API באמצעות Voximplant.
Agora
פיתוח אפליקציות AI בממשק שיחה בזמן אמת באמצעות Agora.
Firebase AI SDK
מתחילים להשתמש ב-Gemini Live API באמצעות Firebase AI Logic.