प्रॉम्प्ट कंप्रेस

यह क्या करता है

प्रॉम्प्ट कंप्रेस, एक ऐसा टूल है जिसे एलएलएम प्रॉम्प्ट को बेहतर और कम लागत में ऑप्टिमाइज़ करने के लिए डिज़ाइन किया गया है. इसका मुख्य फ़ंक्शन, प्रॉम्प्ट के मुख्य मतलब और इंटेंट को बनाए रखते हुए, उसमें मौजूद टोकन की संख्या को कम करना है. यह ज़रूरी है, क्योंकि कई एआई मॉडल, टोकन के इस्तेमाल के आधार पर शुल्क लेते हैं. यह टूल, प्रॉम्प्ट के हिसाब से ऑप्टिमाइज़ेशन पाइपलाइन तय करता है. इसमें, इंडस्ट्री की सबसे अच्छी तकनीकों का इस्तेमाल करके, प्रॉम्प्ट के मतलब को बनाए रखते हुए टोकन की संख्या कम की जाती है. इसके बाद, यह संपीड़ित प्रॉम्प्ट के लिए एलएलएम के जवाब की जांच करता है और ओरिजनल इनपुट की तुलना में इसका विश्लेषण करता है. प्रॉम्प्ट कंप्रेस, हर चरण में Gemini का इस्तेमाल करता है. ऐसा इसलिए होता है, क्योंकि जवाब, टोकन की संख्या इकट्ठा करने, और फिर विश्लेषण करने के लिए, इनपुट प्रॉम्प्ट को बदला जाता है.