SynthID: एलएलएम से जनरेट किए गए टेक्स्ट को वॉटरमार्क करने और उसकी पहचान करने के लिए टूल

जनरेटिव आर्टिफ़िशियल इंटेलिजेंस (जनरेटिव एआई) की मदद से, अलग-अलग तरह का कॉन्टेंट जनरेट किया जा सकता है. यह कॉन्टेंट, पहले के मुकाबले ज़्यादा बेहतर और ज़्यादा बड़े पैमाने पर जनरेट किया जा सकता है. ज़्यादातर मामलों में, इसका इस्तेमाल सही कामों के लिए किया जाता है. हालांकि, इस बात की आशंका है कि इसका इस्तेमाल गलत जानकारी देने और क्रेडिट का गलत इस्तेमाल करने के लिए भी किया जा सकता है. वीडियो पर वॉटरमार्क लगाने से, इन संभावित असर को कम किया जा सकता है. एआई से जनरेट किए गए कॉन्टेंट पर, ऐसे वॉटरमार्क लगाए जा सकते हैं जो इंसानों को न दिखें. साथ ही, कॉन्टेंट की पहचान करने वाले मॉडल, किसी भी कॉन्टेंट को स्कोर कर सकते हैं, ताकि यह पता चल सके कि उस पर वॉटरमार्क लगा है या नहीं.

SynthID, Google DeepMind की एक टेक्नोलॉजी है. यह एआई से जनरेट किए गए कॉन्टेंट में डिजिटल वॉटरमार्क जोड़कर, उसे वॉटरमार्क करती है और उसकी पहचान करती है. यह वॉटरमार्क, एआई से जनरेट की गई इमेज, ऑडियो, टेक्स्ट या वीडियो में सीधे तौर पर जोड़े जाते हैं. SynthID टेक्स्ट को ओपन सोर्स बनाया गया है, ताकि डेवलपर के लिए टेक्स्ट जनरेट करने के लिए वॉटरमार्किंग की जा सके. तरीके के बारे में ज़्यादा जानकारी पाने के लिए, नेचर के पेपर को पढ़ें.

Hugging Face Transformers v4.46.0+ में, SynthID Text को प्रोडक्शन-ग्रेड लागू करने की सुविधा उपलब्ध है. इसे आधिकारिक SynthID Text Space में आज़माया जा सकता है. GitHub पर, लागू करने का रेफ़रंस भी उपलब्ध है. यह ओपन सोर्स के रखरखाव करने वालों और योगदान देने वाले लोगों के लिए मददगार हो सकता है, जो इस तकनीक को दूसरे फ़्रेमवर्क में लाना चाहते हैं.

वॉटरमार्क करने की सुविधा

आम तौर पर, SynthID Text एक लॉगिट प्रोसेसर है, जो Top-K और Top-P के बाद आपके मॉडल की जनरेशन पाइपलाइन पर लागू होता है. यह स्यूडोरैंडम g-फ़ंक्शन का इस्तेमाल करके, मॉडल के लॉगिट को इस तरह से बेहतर बनाता है कि वॉटरमार्क वाली जानकारी को कोड में बदला जा सके. एल्गोरिदम के बारे में पूरी तकनीकी जानकारी पाने और यह जानने के लिए कि अलग-अलग कॉन्फ़िगरेशन वैल्यू से परफ़ॉर्मेंस पर क्या असर पड़ता है, पेपर देखें.

वॉटरमार्क को कॉन्फ़िगर किया जाता है, ताकि g-फ़ंक्शन को पैरामीटर के तौर पर इस्तेमाल किया जा सके और जनरेट करने के दौरान इसे लागू करने का तरीका तय किया जा सके. आपके इस्तेमाल किए गए हर वॉटरमार्क कॉन्फ़िगरेशन को सुरक्षित और निजी तौर पर सेव किया जाना चाहिए. ऐसा न करने पर, दूसरे लोग आपके वॉटरमार्क को आसानी से कॉपी कर सकते हैं.

आपको वॉटरमार्क के हर कॉन्फ़िगरेशन में दो पैरामीटर तय करने होंगे:

  • keys पैरामीटर, यूनीक और रैंडम इंटेजर की सूची होती है. इसका इस्तेमाल, मॉडल की शब्दावली में g-फ़ंक्शन के स्कोर का हिसाब लगाने के लिए किया जाता है. इस सूची की लंबाई से यह तय होता है कि वॉटरमार्क की कितनी लेयर लागू की जाएंगी. ज़्यादा जानकारी के लिए, पेपर में अपेंडिक्स C.1 देखें.
  • ngram_len पैरामीटर का इस्तेमाल, वॉटरमार्क को बेहतर बनाने और उसे आसानी से पहचानने के लिए किया जाता है. वैल्यू जितनी ज़्यादा होगी, वॉटरमार्क को पहचानना उतना ही आसान होगा. हालांकि, इससे वॉटरमार्क में बदलाव करने की संभावना भी बढ़ जाती है. 5 की लंबाई एक अच्छी डिफ़ॉल्ट वैल्यू है.

परफ़ॉर्मेंस की ज़रूरतों के हिसाब से, वॉटरमार्क को और कॉन्फ़िगर किया जा सकता है:

  • सैंपलिंग टेबल को दो प्रॉपर्टी, sampling_table_size और sampling_table_seed से कॉन्फ़िगर किया जाता है. सैंपलिंग के समय, आपको कम से कम\( 2^{16} \) के sampling_table_size का इस्तेमाल करना है, ताकि यह पक्का किया जा सके कि बिना किसी भेदभाव के और स्थिर g फ़ंक्शन. हालांकि, ध्यान रखें कि सैंपलिंग टेबल के साइज़ से अनुमान के समय ज़रूरी मेमोरी पर असर पड़ता है. sampling_table_seed के तौर पर, अपनी पसंद के किसी भी पूर्णांक का इस्तेमाल किया जा सकता है.
  • पिछले context_history_size टोकन में मौजूद दोहराए गए n-ग्राम, पहचान करने लायक बेहतर बनाने के लिए वॉटरमार्क नहीं किए जाते.

अपने मॉडल का इस्तेमाल करके, SynthID टेक्स्ट वॉटरमार्क वाला टेक्स्ट जनरेट करने के लिए, किसी और ट्रेनिंग की ज़रूरत नहीं होती. इसके लिए, सिर्फ़ वॉटरमार्किंग कॉन्फ़िगरेशन की ज़रूरत होती है. यह कॉन्फ़िगरेशन, SynthID टेक्स्ट लॉजिस्ट प्रोसेसर को चालू करने के लिए, मॉडल के .generate() तरीके को पास किया जाता है. Transformers लाइब्रेरी में वॉटरमार्क लागू करने का तरीका बताने वाले कोड के उदाहरणों के लिए, ब्लॉग पोस्ट और Space देखें.

वॉटरमार्क का पता लगाना और उसकी पुष्टि करना

वॉटरमार्क का पता लगाने की सुविधा, संभावना के आधार पर काम करती है. Hugging Face Transformers और GitHub पर, बेयसियन डिटेक्टर उपलब्ध है. यह डिटेक्टर, पहचान करने की तीन संभावित स्थितियां दिखा सकता है—वॉटरमार्क किया गया, वॉटरमार्क नहीं किया गया या अनिश्चित. साथ ही, गलत पहचान की दर और गलत नतीजे मिलने की दर को तय करने के लिए, दो थ्रेशोल्ड वैल्यू सेट करके, इसकी परफ़ॉर्मेंस को पसंद के मुताबिक बनाया जा सकता है. ज़्यादा जानकारी के लिए, पेपर में अध्यांश C.8 देखें.

एक ही टोकनेटर का इस्तेमाल करने वाले मॉडल, वॉटरमार्क करने का कॉन्फ़िगरेशन और डिटेक्टर भी शेयर कर सकते हैं. इससे, एक ही वॉटरमार्क शेयर किया जा सकता है. हालांकि, ऐसा तब तक ही किया जा सकता है, जब तक डिटेक्टर के ट्रेनिंग सेट में, वॉटरमार्क शेयर करने वाले सभी मॉडल के उदाहरण शामिल हों.

ट्रेन किया गया डिटेक्टर मिलने के बाद, आपके पास यह तय करने का विकल्प होता है कि इसे अपने उपयोगकर्ताओं और आम तौर पर लोगों के लिए उपलब्ध कराया जाए या नहीं. साथ ही, अगर उपलब्ध कराया जाता है, तो कैसे.

  • पूरी तरह से निजी विकल्प, डिटेक्टर को किसी भी तरह से रिलीज़ या सार्वजनिक नहीं करता.
  • कुछ हद तक निजी विकल्प चुनने पर, डिटेक्टर रिलीज़ नहीं होता. हालांकि, एपीआई की मदद से उसे दिखाया जाता है.
  • सार्वजनिक विकल्प डिटेक्टर को रिलीज़ करता है, ताकि दूसरे लोग उसे डाउनलोड और इस्तेमाल कर सकें.

आपको और आपके संगठन को यह तय करना होगा कि आपके लिए, पहचान की पुष्टि करने का कौनसा तरीका सबसे सही है. यह इस बात पर निर्भर करता है कि आपके पास, इससे जुड़े इन्फ़्रास्ट्रक्चर और प्रोसेस को पूरा करने की क्षमता है या नहीं.

सीमाएं

SynthID टेक्स्ट वॉटरमार्क, कुछ बदलावों के लिए बेहतर होते हैं. जैसे, टेक्स्ट के कुछ हिस्सों को काटना, कुछ शब्दों में बदलाव करना या थोड़ा बदलाव करके फिर से लिखना. हालांकि, इस तरीके की कुछ सीमाएं हैं.

  • तथ्यों पर आधारित जवाबों के मामले में वॉटरमार्क लगाने की सुविधा का इस्तेमाल कम किया जा सकता है. ऐसा इसलिए है, क्योंकि इससे सटीक जानकारी नहीं घटती और अलग-अलग तरीके से कॉन्टेंट जनरेट करने की क्षमता बढ़ जाती है.
  • एआई से जनरेट किए गए टेक्स्ट को पूरी तरह से फिर से लिखने या किसी दूसरी भाषा में अनुवाद करने पर, डिटेक्टर के भरोसे के स्कोर में काफ़ी कमी आ सकती है.

SynthID Text को, नुकसान पहुंचाने के इरादे से काम करने वाले लोगों को सीधे तौर पर रोकने के लिए नहीं बनाया गया है. हालांकि, इससे एआई से जनरेट किए गए कॉन्टेंट का इस्तेमाल नुकसान पहुंचाने के मकसद से करना मुश्किल हो सकता है. साथ ही, अलग-अलग तरह के कॉन्टेंट और प्लैटफ़ॉर्म पर बेहतर कवरेज देने के लिए, इसे अन्य तरीकों के साथ जोड़ा जा सकता है.