एआई एज फ़ंक्शन कॉलिंग एसडीके (एफसी एसडीके) एक लाइब्रेरी है. इससे डेवलपर, डिवाइस पर मौजूद एलएलएम के साथ फ़ंक्शन कॉलिंग का इस्तेमाल कर सकते हैं. फ़ंक्शन कॉलिंग की सुविधा की मदद से, मॉडल को बाहरी टूल और एपीआई से कनेक्ट किया जा सकता है. इससे मॉडल, असल ज़िंदगी में होने वाली कार्रवाइयों को पूरा करने के लिए, ज़रूरी पैरामीटर के साथ खास फ़ंक्शन कॉल कर पाते हैं.
FC SDK का इस्तेमाल करने वाला एलएलएम, सिर्फ़ टेक्स्ट जनरेट करने के बजाय, किसी फ़ंक्शन को स्ट्रक्चर्ड कॉल जनरेट कर सकता है. यह फ़ंक्शन कोई कार्रवाई करता है. जैसे, अप-टू-डेट जानकारी खोजना, अलार्म सेट करना या बुकिंग करना.
AI Edge FC SDK, Android के लिए उपलब्ध है. इसे LLM Inference API के साथ, पूरी तरह से डिवाइस पर चलाया जा सकता है. एसडीके का इस्तेमाल शुरू करने के लिए, Android गाइड देखें. इसमें फ़ंक्शन कॉल करने की सुविधा का इस्तेमाल करके, सैंपल ऐप्लिकेशन को लागू करने का तरीका बताया गया है.
फ़ंक्शन कॉल करने वाली पाइपलाइन
डिवाइस पर काम करने वाले एलएलएम को फ़ंक्शन कॉल करने की सुविधा के साथ सेट अप करने के लिए, ये मुख्य चरण पूरे करने होते हैं:
- फ़ंक्शन के बारे में जानकारी देना: एलएलएम जिन फ़ंक्शन को कॉल कर सकता है उनकी संरचना और पैरामीटर, आपके ऐप्लिकेशन कोड में तय किए जाने चाहिए. इसमें फ़ंक्शन के नाम, पैरामीटर, और टाइप तय करना शामिल है.
- प्रॉम्प्ट और आउटपुट को फ़ॉर्मैट करना: इनपुट और आउटपुट टेक्स्ट में, सामान्य भाषा और फ़ंक्शन कॉल शामिल हो सकते हैं. फ़ॉर्मेटर यह कंट्रोल करता है कि डेटा स्ट्रक्चर को स्ट्रिंग में कैसे बदला जाए और स्ट्रिंग से डेटा स्ट्रक्चर में कैसे बदला जाए. इससे एलएलएम को जानकारी को सही तरीके से फ़ॉर्मैट करने में मदद मिलती है.
- आउटपुट पार्स करना: पार्सर यह पता लगाता है कि जनरेट किए गए जवाब में फ़ंक्शन कॉल है या नहीं. इसके बाद, वह इसे स्ट्रक्चर्ड डेटा टाइप में पार्स करता है, ताकि ऐप्लिकेशन फ़ंक्शन कॉल को लागू कर सके.
- जवाबों की जांच करना: अगर पार्सर को फ़ंक्शन कॉल का पता चलता है, तो ऐप्लिकेशन सही पैरामीटर और स्ट्रक्चर्ड डेटा टाइप के साथ फ़ंक्शन को कॉल करता है. अगर ऐसा नहीं है, तो यह सामान्य भाषा में टेक्स्ट दिखाता है.
मुख्य कॉम्पोनेंट
FC SDK में ये मुख्य कॉम्पोनेंट शामिल हैं:
- इन्फ़रेंस बैकएंड: यह जनरेटिव एआई मॉडल पर इन्फ़रेंस चलाने के लिए एक इंटरफ़ेस है. FC SDK, LLM Inference API का इस्तेमाल करके, LiteRT (TFLite) मॉडल पर अनुमान लगाने की प्रोसेस को पूरा करता है. एपीआई, InferenceBackend इंटरफ़ेस का इस्तेमाल करता है.
- प्रॉम्प्ट फ़ॉर्मेटर: यह एक इंटरफ़ेस है. इसका इस्तेमाल जनरेटिव एआई मॉडल को भेजे जाने वाले अनुरोधों और उससे मिलने वाले जवाबों को फ़ॉर्मैट करने के लिए किया जाता है. FC SDK, एक फ़ॉर्मेटर उपलब्ध कराता है. यह फ़ॉर्मेटर, फ़ंक्शन के एलान को मॉडल के हिसाब से फ़ॉर्मैट करता है. यह फ़ॉर्मैट, एलएलएम के लिए ज़रूरी होता है. साथ ही, यह फ़ॉर्मेटर उन्हें सिस्टम प्रॉम्प्ट में डालता है. फ़ॉर्मेटर, मॉडल के हिसाब से टोकन को भी मैनेज करता है. इससे उपयोगकर्ता और मॉडल के टर्न के बारे में पता चलता है. एपीआई, ModelFormatter इंटरफ़ेस का इस्तेमाल करता है.
- आउटपुट पार्सर: FC SDK, एक पार्सर उपलब्ध कराता है. यह पार्सर यह पता लगाता है कि मॉडल का आउटपुट, फ़ंक्शन कॉल को दिखाता है या नहीं. साथ ही, यह उसे डेटा स्ट्रक्चर में पार्स करता है, ताकि ऐप्लिकेशन उसका इस्तेमाल कर सके. एपीआई, ModelFormatter इंटरफ़ेस का इस्तेमाल करता है.
- शर्तों के साथ डिकोडिंग: यह एक ऐसा इंटरफ़ेस है जिसकी मदद से, शर्तें बनाई और मैनेज की जा सकती हैं. इससे यह पक्का किया जा सकता है कि जनरेट किया गया आउटपुट, खास नियमों या शर्तों का पालन करता हो. जिन मॉडल के साथ FC SDK काम करता है उनके लिए, यह SDK, अनुमान लगाने वाले बैकएंड को कॉन्फ़िगर करेगा. इससे, मॉडल सिर्फ़ मान्य फ़ंक्शन के नाम और पैरामीटर आउटपुट करेगा. यह एपीआई, ConstraintProvider इंटरफ़ेस का इस्तेमाल करता है.