SynthID: एलएलएम से जनरेट किए गए टेक्स्ट को वॉटरमार्क करने और उसकी पहचान करने के लिए टूल

जनरेटिव आर्टिफ़िशियल इंटेलिजेंस (जेन एआई) की मदद से, एआई का इस्तेमाल अलग-अलग तरह का कॉन्टेंट ऐसे बड़े पैमाने पर दिखाया जाता है जिसके बारे में पहले कभी सोचा भी नहीं गया था. ज़्यादातर इस्तेमाल में है, तो इस बात को लेकर चिंता है कि इसके ज़रिए और गलत जानकारी से जुड़ी समस्याएं होती हैं. वीडियो पर वॉटरमार्क लगाने की तकनीक से, इन संभावित असर को कम किया जा सकता है. ऐसे वॉटरमार्क जिन्हें लोग नहीं देख सकते एआई से बनाए गए कॉन्टेंट पर लागू किए जा सकते हैं. साथ ही, पहचान करने वाले मॉडल, वॉटरमार्क किए जाने की संभावना बताने के लिए कॉन्टेंट.

SynthID, Google DeepMind की एक टेक्नोलॉजी है. यह एआई से जनरेट किए गए कॉन्टेंट को वॉटरमार्क करती है और उसकी पहचान करती है. इसके लिए, यह एआई से जनरेट की गई इमेज, ऑडियो, टेक्स्ट या वीडियो में सीधे तौर पर डिजिटल वॉटरमार्क जोड़ती है. डेवलपर के लिए, टेक्स्ट जनरेशन के लिए वॉटरमार्किंग की सुविधा उपलब्ध कराने के लिए, SynthID Text को ओपन सोर्स किया गया है. इस तरीके के बारे में पूरी तकनीकी जानकारी पाने के लिए, Nature में मौजूद पेपर पढ़ें.

Hugging Face Transformers v4.46.0+ में, प्रोडक्शन-ग्रेड में SynthID टेक्स्ट लागू करने की सुविधा उपलब्ध है. इसे SynthID Text Space के आधिकारिक वर्शन में आज़माया जा सकता है. रेफ़रंस फ़ाइल को लागू करना GitHub पर भी उपलब्ध है. यह ओपन सोर्स के लिए मददगार हो सकता है रखरखाव करने वाले और योगदान देने वाले लोग, जो इस तकनीक को फ़्रेमवर्क शामिल हैं.

वॉटरमार्क ऐप्लिकेशन

आम तौर पर, SynthID Text एक लॉगिट प्रोसेसर है, जो आपके टॉप-K और टॉप-P के बाद मॉडल की जनरेशन पाइपलाइन, कोड में बदलने के लिए, जो स्यूडोरैंडम g-फ़ंक्शन का इस्तेमाल करके मॉडल के लॉगिट को बढ़ाता है वॉटरमार्क लगाने की जानकारी को इस तरह से पेश करना जिससे इमेज जनरेट होने की क्वालिटी के बीच संतुलन हो जाए वॉटरमार्क की पहचान करने की क्षमता. एल्गोरिद्म के बारे में पूरी तकनीकी जानकारी पाने और यह जानने के लिए कि अलग-अलग कॉन्फ़िगरेशन वैल्यू से परफ़ॉर्मेंस पर क्या असर पड़ता है, पेपर देखें.

वॉटरमार्क पैरामीटर को पैरामीटर के तौर पर दिखाने के लिए, वॉटरमार्क कॉन्फ़िगर किए गए हैं g-फ़ंक्शन और जनरेशन के दौरान इसे कैसे लागू किया जाता है. आपके द्वारा उपयोग किए जाने वाले प्रत्येक मॉडल को वॉटरमार्क करने का ऐसा कॉन्फ़िगरेशन हो जो सुरक्षित रूप से और निजी तौर पर सेव किया जाना चाहिए. ऐसा न करने पर, आपका वॉटरमार्क जिन्हें दूसरे लोग आसानी से दोहरा सकते हैं.

आपको वॉटरमार्क के हर कॉन्फ़िगरेशन में दो पैरामीटर तय करने होंगे:

  • keys पैरामीटर, यूनीक और रैंडम इंटेजर की सूची होती है. इसका इस्तेमाल, मॉडल की शब्दावली में g-फ़ंक्शन के स्कोर का हिसाब लगाने के लिए किया जाता है. इस सूची की लंबाई से तय होता है कि वॉटरमार्क की कितनी लेयर लागू की जाएंगी. यहां जाएं: ज़्यादा जानकारी के लिए, पेपर में अपेंडिक्स C.1 डालें.
  • ngram_len पैरामीटर का इस्तेमाल, वॉटरमार्क को बेहतर बनाने और उसे आसानी से पहचानने के लिए किया जाता है. वैल्यू जितनी ज़्यादा होगी, वॉटरमार्क को पहचानना उतना ही आसान होगा. हालांकि, इससे वॉटरमार्क में बदलाव करने की संभावना भी बढ़ जाती है. पांच, डिफ़ॉल्ट वैल्यू के तौर पर एक अच्छी वैल्यू है.

परफ़ॉर्मेंस की ज़रूरतों के हिसाब से, वॉटरमार्क को और कॉन्फ़िगर किया जा सकता है:

  • सैंपलिंग टेबल को दो प्रॉपर्टी, sampling_table_size और sampling_table_seed से कॉन्फ़िगर किया जाता है. आप कम से कम sampling_table_size का इस्तेमाल करना चाहते हैं \( 2^{16} \) सैंपलिंग के दौरान, बिना पक्षपात वाले और स्थिर g-फ़ंक्शन को पक्का करने के लिए, लेकिन ध्यान रखें कि सैंपलिंग टेबल का साइज़, अनुमान के समय ज़रूरी मेमोरी. अपनी पसंद के मुताबिक किसी भी पूर्णांक का इस्तेमाल करें sampling_table_seed.
  • context_history_size से पहले के टोकन में, दोहराए गए n-ग्राम को वॉटरमार्क नहीं किया जाता, ताकि उन्हें आसानी से पहचाना जा सके.

SynthID टेक्स्ट वाला टेक्स्ट जनरेट करने के लिए, किसी अतिरिक्त ट्रेनिंग की ज़रूरत नहीं है वॉटरमार्क लगाने के लिए, अपने मॉडल का इस्तेमाल करें, वॉटरमार्किंग कॉन्फ़िगरेशन भी हो, जो मॉडल SynthID Text को चालू करने का .generate() तरीका लॉगिट प्रोसेसर. Transformers लाइब्रेरी में वॉटरमार्क लागू करने का तरीका बताने वाले कोड के उदाहरणों के लिए, ब्लॉग पोस्ट और Space देखें.

वॉटरमार्क की पहचान और पुष्टि करने की सुविधा

वॉटरमार्क का पता लगाने की सुविधा संभावित तौर पर उपलब्ध है. बेज़ियन डिटेक्टर दिया गया है फ़ेस ट्रांसफ़ॉर्मर को गले लगाना और चालू GitHub. यह डिटेक्टर, पहचान करने की तीन संभावित स्थितियां दिखा सकता है—वॉटरमार्क किया गया, वॉटरमार्क नहीं किया गया या अनिश्चित. साथ ही, दो थ्रेशोल्ड वैल्यू सेट करके, इसकी परफ़ॉर्मेंस को पसंद के मुताबिक बनाया जा सकता है. ज़्यादा जानकारी के लिए, पेपर में अध्यांश C.8 देखें.

खास तौर पर फ़ॉल्स पॉज़िटिव और फ़ॉल्स हासिल करने के लिए, थ्रेशोल्ड को ट्यून किया जा सकता है प्रॉम्प्ट या लंबाई के सेट पर नेगेटिव रेट दिखता है. अपेंडिक्स C.8 देखें ज़्यादा जानकारी के लिए, पेपर.

डिटेक्टर की ट्रेनिंग मिलने के बाद आपके पास यह तय करने का विकल्प होगा कि इसे सार्वजनिक किया जाए या नहीं. साथ ही, यह भी तय किया जा सकता है कि इसे सार्वजनिक करना है या नहीं. और सामान्य तौर पर लोगों को दिखाना है.

  • पूरी तरह से निजी विकल्प, डिटेक्टर को किसी भी समय रिलीज़ नहीं करता या उसे सार्वजनिक नहीं करता तरीका है.
  • सेमी-प्राइवेट विकल्प, डिटेक्टर को रिलीज़ नहीं करता, लेकिन इससे उसे कुछ खुला हो जाता है एपीआई की मदद से ऐसा करते हैं.
  • सार्वजनिक विकल्प चुनने पर, डिटेक्टर को दूसरे लोग डाउनलोड और इस्तेमाल कर सकते हैं.

आपको और आपके संगठन को यह तय करना होगा कि आपके लिए, पहचान की पुष्टि करने का कौनसा तरीका सबसे सही है. यह इस बात पर निर्भर करता है कि आपके पास, इससे जुड़े इन्फ़्रास्ट्रक्चर और प्रोसेस को पूरा करने की क्षमता है या नहीं.

सीमाएं

SynthID टेक्स्ट वॉटरमार्क, कुछ बदलावों के लिए बेहतर होते हैं. जैसे, टेक्स्ट के कुछ हिस्सों को काटना, कुछ शब्दों में बदलाव करना या थोड़ा बदलाव करके फिर से लिखना. हालांकि, इस तरीके की कुछ सीमाएं हैं.

  • सटीक जवाबों पर वॉटरमार्क का इस्तेमाल कम असरदार होता है. इसकी वजह यह है कि सटीक जवाब देने के लिए, वॉटरमार्क का इस्तेमाल नहीं किया जा सकता.
  • एआई से जनरेट किए गए टेक्स्ट को पूरी तरह से फिर से लिखने या किसी दूसरी भाषा में अनुवाद करने पर, डिटेक्टर के भरोसे के स्कोर में काफ़ी कमी आ सकती है.

SynthID Text को, नुकसान पहुंचाने के इरादे से काम करने वाले लोगों को सीधे तौर पर रोकने के लिए नहीं बनाया गया है. हालांकि, नुकसान पहुंचाने के मकसद से एआई से बनाए गए कॉन्टेंट का इस्तेमाल करना मुश्किल हो सकता है और इसे बेहतर कवरेज देने के लिए, दूसरे तरीकों के साथ जोड़ा जा सकता है की सुविधा मिलती है.