GUI Dog

यह क्या करता है

आपको कोई खास फ़ाइल ऐक्सेस करनी है. दृष्टिबाधित उपयोगकर्ता के लिए, दस्तावेज़ फ़ोल्डर में जाने के लिए बस क्लिक करें और फ़ाइल खोलने के लिए फिर से क्लिक करें. हो गया.

अगर आपने अपनी आंखों की रोशनी खो दी है, तो क्या होगा? इसके लिए, आपको macOS के VoiceOver जैसे किसी ब्लाइंड रीडर का इस्तेमाल करना होगा. उदाहरण के लिए, जब कोई फ़ाइल मैनेजर विंडो खोली जाती है, तो VoiceOver आपको इस बारे में पूरी जानकारी देता है कि यह क्या है और इसका इस्तेमाल कैसे किया जा सकता है. साइडबार पर जाने के लिए, कीबोर्ड की जटिल कार्रवाइयों का इस्तेमाल किया जाता है. जब भी डिवाइस का इस्तेमाल किया जाता है, तब फ़ोकस किए गए यूज़र इंटरफ़ेस (यूआई) एलिमेंट की जानकारी, VoiceOver दोहराता है. इसके बाद, फ़ोल्डर की सूची में एक-एक करके नीचे की ओर जाएं. VoiceOver हर फ़ोल्डर का नाम तब तक बोलता रहेगा, जब तक आपको सही फ़ोल्डर नहीं मिल जाता. यह प्रोसेस तब तक फ़ोल्डर में दोहराई जाती है, जब तक आपको अपनी पसंदीदा फ़ाइल नहीं मिल जाती. क्या यह परेशान करने वाला नहीं था?

दो क्लिक वाला आसान टास्क, 12 कार्रवाइयों वाले थकाऊ ऑपरेशन में बदल जाता है.

क्या यह मुमकिन नहीं है कि "दस्तावेज़ फ़ोल्डर में, मेरा टीकाकरण वाला दस्तावेज़ खोलें" का निर्देश देकर, उसी टास्क को पूरा किया जा सके? मेरा ऐप्लिकेशन, GUI Dog, ऐसा करता है.

उपयोगकर्ता, GUI Dog को किसी टास्क के लिए सटीक निर्देश देता है. GUI Dog, Gemini को टास्क और यूज़र इंटरफ़ेस (यूआई) के उन एलिमेंट की सूची देता है जिनमें बदलाव किया जा सकता है. इसके बाद, Gemini यह तय करता है कि कौनसी कार्रवाइयां करनी हैं. साथ ही, GUI Dog उन्हें पूरा करने के लिए macOS के सुलभता सिस्टम का इस्तेमाल करता है. दोनों मिलकर टास्क पूरा करते हैं.

GUI Dog का मकसद, दृष्टिबाधित लोगों के लिए "सिंगिंग आइज़" बनना है. इसके लिए, यह भाषा के बड़े मॉडल की टेक्नोलॉजी का इस्तेमाल करता है. इससे, ज़रूरतमंद लोगों को डिजिटल दुनिया के साथ बेहतर तरीके से इंटरैक्ट करने में मदद मिलती है.