Gemini Live API के बारे में खास जानकारी

Live API की मदद से, Gemini के साथ कम समय में रीयल-टाइम में बोलकर और देखकर बातचीत की जा सकती है. यह ऑडियो, इमेज, और टेक्स्ट की लगातार स्ट्रीम को प्रोसेस करता है, ताकि तुरंत और इंसान की तरह बोलकर जवाब दिया जा सके. इससे आपके उपयोगकर्ताओं को बातचीत का स्वाभाविक अनुभव मिलता है.

इस्तेमाल के उदाहरण

Live API का इस्तेमाल करके, कई इंडस्ट्री के लिए रीयल-टाइम में बोलकर बातचीत करने वाले एजेंट बनाए जा सकते हैं. इनमें ये इंडस्ट्री शामिल हैं:

• ई-कॉमर्स और खुदरा कारोबार: शॉपिंग असिस्टेंट, जो लोगों की पसंद के हिसाब से सुझाव देते हैं. साथ ही, ग्राहक सहायता एजेंट, जो ग्राहकों की समस्याओं को हल करते हैं.
• गेमिंग: इंटरैक्टिव नॉन-प्लेयर कैरेक्टर (एनपीसी), इन-गेम सहायता असिस्टेंट, और इन-गेम कॉन्टेंट का रीयल-टाइम में अनुवाद.
• नेक्स्ट-जनरेशन इंटरफ़ेस: रोबोटिक्स, स्मार्ट ग्लास, और वाहनों में आवाज़ और वीडियो की सुविधा वाले अनुभव.
• स्वास्थ्य सेवा: मरीज़ों की सहायता और उन्हें स्वास्थ्य के बारे में जानकारी देने के लिए, हेल्थ कंपैनियन.
• वित्तीय सेवाएं: धन के प्रबंधन और निवेश के बारे में सलाह देने के लिए, एआई सलाहकार.
• शिक्षा: एआई मेंटर और सीखने में मदद करने वाले कंपैनियन, जो लोगों की ज़रूरतों के हिसाब से निर्देश और फ़ीडबैक देते हैं.
• अनुवाद और स्थानीयकरण: बोली गई बातचीत का रीयल-टाइम में, कम समय में अनुवाद. इससे अलग-अलग भाषाओं में आसानी से बातचीत की जा सकती है.
• लाइव ट्रांसक्रिप्शन और कैप्शनिंग: लाइव सबटाइटल, मीटिंग के ट्रांसक्रिप्शन, बोलकर टाइप करने, और ग्राहक कॉल लॉगिंग के लिए, रीयल-टाइम में बोली को टेक्स्ट में बदलने की सुविधा.

मुख्य सुविधाएं

Live API, बोलकर बातचीत करने वाले मज़बूत एजेंट बनाने के लिए कई सुविधाएं उपलब्ध कराता है:

• कई भाषाओं में काम करने की सुविधा: 70 भाषाओं में बातचीत की जा सकती है.
• बार्ज-इन: उपयोगकर्ता, रिस्पॉन्सिव इंटरैक्शन के लिए किसी भी समय मॉडल को इंटरप्ट कर सकते हैं.
• टूल का इस्तेमाल: डाइनैमिक इंटरैक्शन के लिए, फ़ंक्शन कॉलिंग और Google Search जैसे टूल इंटिग्रेट किए जा सकते हैं.
• ऑडियो ट्रांसक्रिप्शन: उपयोगकर्ता के इनपुट और मॉडल आउटपुट, दोनों के टेक्स्ट ट्रांसक्रिप्ट उपलब्ध कराता है.
• प्रोऐक्टिव ऑडियो: इससे यह कंट्रोल किया जा सकता है कि मॉडल कब और किन संदर्भों में जवाब दे.
• अफ़ेक्टिव डायलॉग: उपयोगकर्ता के इनपुट एक्सप्रेशन के हिसाब से, जवाब देने के स्टाइल और टोन को अडजस्ट करता है.
• लाइव ट्रांसक्रिप्शन: रीयल-टाइम में, लगातार बोली को टेक्स्ट में बदलने की सुविधा. इसमें भाषा की पहचान अपने-आप होती है. साथ ही, इसमें कस्टम शब्दावली का इस्तेमाल किया जा सकता है.
• लाइव ट्रांसलेशन: 70 से ज़्यादा भाषाओं में, रीयल-टाइम में बोलकर अनुवाद करने की सुविधा.

तकनीकी जानकारी

यहां दी गई टेबल में, Live API के लिए तकनीकी जानकारी दी गई है:

लागू करने का तरीका चुनना

Live API को इंटिग्रेट करते समय, आपको लागू करने का इनमें से कोई एक तरीका चुनना होगा:

• सर्वर-टू-सर्वर: आपका बैकएंड, WebSockets का इस्तेमाल करके Live API से कनेक्ट होता है. आम तौर पर, आपका क्लाइंट स्ट्रीम डेटा (ऑडियो, वीडियो, टेक्स्ट) आपके सर्वर को भेजता है. इसके बाद, आपका सर्वर इसे Live API को फ़ॉरवर्ड करता है.
• क्लाइंट-टू-सर्वर: आपका फ़्रंटएंड कोड, डेटा स्ट्रीम करने के लिए WebSockets का इस्तेमाल करके सीधे Live API से कनेक्ट होता है. इसमें आपके बैकएंड की ज़रूरत नहीं होती.

शुरू करें

वह गाइड चुनें जो आपके डेवलपमेंट एनवायरमेंट से मेल खाती हो: