نظرة عامة على Gemini Live API

تتيح واجهة برمجة التطبيقات Live API التفاعل مع Gemini في الوقت الفعلي باستخدام الصوت والصورة مع وقت استجابة منخفض. وتعالج هذه الواجهة تدفقات مستمرة من الصوت والصور والنصوص لتقديم ردود فورية منطوقة تشبه الردود البشرية، ما يمنح المستخدمين تجربة محادثة طبيعية.

حالات الاستخدام

يمكن استخدام Live API لإنشاء وكلاء صوتيين في الوقت الفعلي لمجموعة متنوّعة من القطاعات، بما في ذلك:

• التجارة الإلكترونية والبيع بالتجزئة: مساعدو التسوّق الذين يقدّمون اقتراحات مخصّصة ووكلاء الدعم الذين يحلّون مشاكل العملاء
• الألعاب: شخصيات تفاعلية لا يتحكّم بها اللاعب (NPC) ومساعدو الألعاب الذين يقدّمون المساعدة داخل اللعبة والترجمة في الوقت الفعلي لمحتوى اللعبة
• الواجهات من الجيل التالي: تجارب مفعّلة بالصوت والفيديو في الروبوتات والنظارات الذكية والمركبات
• الرعاية الصحية: مرافقو الصحة لدعم المرضى وتثقيفهم
• الخدمات المالية: مستشارون مستندون إلى الذكاء الاصطناعي لإدارة الثروات وتقديم إرشادات الاستثمار
• التعليم: مرشدون ومرافقون للمتعلّمين مستندون إلى الذكاء الاصطناعي يقدّمون تعليمات وملاحظات مخصّصة
• الترجمة والتعريب: ترجمة المحادثات المنطوقة في الوقت الفعلي مع وقت استجابة منخفض، ما يتيح التواصل السلس بلغات متعددة
• تحويل الصوت إلى نص وإضافة الشرح في الوقت الفعلي: تحويل الصوت إلى نص في الوقت الفعلي لإضافة ترجمات وشرح في الوقت الفعلي، وتحويل المحادثات إلى نص، والإملاء الصوتي، وتسجيل مكالمات العملاء

الميزات الأساسية

تقدّم Live API مجموعة شاملة من الميزات لإنشاء وكلاء صوتيين فعّالين:

• التوافق مع لغات متعددة: يمكنك التحدّث بـ 70 لغة متوافقة.
• المقاطعة: يمكن للمستخدمين مقاطعة النموذج في أي وقت للتفاعل معه.
• استخدام الأدوات: يمكنك دمج أدوات مثل استدعاء الدوال و"بحث Google" للتفاعلات الديناميكية.
• تحويل الصوت إلى نص: يمكنك الحصول على نصوص مكتوبة لكلّ من بيانات أدخلها المستخدم ومخرجات النموذج.
• التحكم الاستباقي بالصوت: يتيح لك التحكم في وقت استجابة النموذج والسياقات التي يستجيب فيها.
• **حوار تفاعلي تعاطفي**: يكيّف أسلوب الرد ونبرته ليطابقا تعبيرات المستخدم عند الإدخال.
• تحويل الصوت إلى نص في الوقت الفعلي: يمكنك تحويل الصوت إلى نص في الوقت الفعلي وبشكل مستمر مع ميزة التعرّف التلقائي على اللغة والمفردات المخصّصة.
• الترجمة في الوقت الفعلي: يمكنك ترجمة الصوت إلى صوت في الوقت الفعلي بأكثر من 70 لغة.

المواصفات الفنية

يوضّح الجدول التالي المواصفات الفنية لواجهة برمجة التطبيقات Live API:

اختيار طريقة التنفيذ

عند الدمج مع Live API، عليك اختيار إحدى طرق التنفيذ التالية:

• من خادم إلى خادم: يتصل النظام الخلفي بواجهة برمجة التطبيقات Live API باستخدام WebSockets. عادةً، يرسل العميل بيانات البث (الصوت والفيديو والنص) إلى الخادم، الذي يعيد توجيهها إلى Live API.
• من العميل إلى الخادم: يتصل رمز الواجهة الأمامية مباشرةً بواجهة برمجة التطبيقات Live API باستخدام WebSockets لبث البيانات، ما يؤدي إلى تجاوز النظام الخلفي.

البدء

اختَر الدليل الذي يتطابق مع بيئة التطوير: