एआई एज फ़ंक्शन कॉलिंग एसडीके (एफ़सी एसडीके) एक लाइब्रेरी है. इसकी मदद से, डेवलपर डिवाइस पर मौजूद एलएलएम के साथ फ़ंक्शन कॉलिंग का इस्तेमाल कर सकते हैं. फ़ंक्शन कॉल करने की सुविधा की मदद से, मॉडल को बाहरी टूल और एपीआई से कनेक्ट किया जा सकता है. इससे मॉडल, ज़रूरी पैरामीटर के साथ खास फ़ंक्शन कॉल कर सकते हैं, ताकि असल दुनिया में कार्रवाइयां की जा सकें.
FC SDK का इस्तेमाल करने वाला एलएलएम, सिर्फ़ टेक्स्ट जनरेट करने के बजाय, किसी फ़ंक्शन के लिए स्ट्रक्चर्ड कॉल जनरेट कर सकता है. यह फ़ंक्शन, अप-टू-डेट जानकारी खोजने, अलार्म सेट करने या बुकिंग करने जैसी कोई कार्रवाई करता है.
AI Edge FC SDK, Android के लिए उपलब्ध है. इसे LLM Inference API के साथ, डिवाइस पर पूरी तरह से चलाया जा सकता है. Android के लिए बनी गाइड में बताया गया तरीका अपनाकर, SDK टूल का इस्तेमाल शुरू करें. इस गाइड में, फ़ंक्शन कॉल का इस्तेमाल करके, सैंपल ऐप्लिकेशन को बुनियादी तौर पर लागू करने का तरीका बताया गया है.
फ़ंक्शन कॉल करने वाली पाइपलाइन
फ़ंक्शन कॉल करने की सुविधाओं के साथ, डिवाइस पर LLM सेट अप करने के लिए, ये मुख्य चरण पूरे करने होंगे:
- फ़ंक्शन के एलान तय करना: आपके ऐप्लिकेशन कोड में, उन फ़ंक्शन के स्ट्रक्चर और पैरामीटर तय करने होंगे जिन्हें एलएलएम कॉल कर सकता है. इसमें फ़ंक्शन के नाम, पैरामीटर, और टाइप की जानकारी देना शामिल है.
- प्रॉम्प्ट और आउटपुट को फ़ॉर्मैट करना: इनपुट और आउटपुट टेक्स्ट में, सामान्य भाषा और फ़ंक्शन कॉल शामिल हो सकते हैं. फ़ॉर्मैटर यह कंट्रोल करता है कि डेटा स्ट्रक्चर को स्ट्रिंग में कैसे बदला जाए और स्ट्रिंग से कैसे बदला जाए. इससे एलएलएम, जानकारी को सही तरीके से फ़ॉर्मैट कर पाता है.
- आउटपुट पार्स करना: पार्स करने वाला टूल यह पता लगाता है कि जनरेट किए गए रिस्पॉन्स में फ़ंक्शन कॉल है या नहीं. साथ ही, उसे स्ट्रक्चर्ड डेटा टाइप में पार्स करता है, ताकि ऐप्लिकेशन फ़ंक्शन कॉल को लागू कर सके.
- जवाबों की जांच करना: अगर पार्सर को कोई फ़ंक्शन कॉल मिलता है, तो ऐप्लिकेशन सही पैरामीटर और स्ट्रक्चर्ड डेटा टाइप के साथ फ़ंक्शन को कॉल करता है. ऐसा न होने पर, यह सामान्य भाषा में टेक्स्ट दिखाता है.
मुख्य कॉम्पोनेंट
FC SDK टूल में ये मुख्य कॉम्पोनेंट शामिल हैं:
- अनुमान लगाने वाला बैकएंड: जनरेटिव एआई मॉडल पर अनुमान लगाने के लिए इंटरफ़ेस. FC SDK टूल, LiteRT (TFLite) मॉडल पर अनुमान लगाने के लिए, LLM Inference API का इस्तेमाल करता है. एपीआई, InferenceBackend इंटरफ़ेस का इस्तेमाल करता है.
- प्रॉम्प्ट फ़ॉर्मैटर: जनरेटिव एआई मॉडल के अनुरोधों और जवाबों को फ़ॉर्मैट करने के लिए इंटरफ़ेस. FC SDK एक फ़ॉर्मैटर उपलब्ध कराता है, जो फ़ंक्शन के एलान को LLM के लिए ज़रूरी मॉडल-स्पेसिफ़िक फ़ॉर्मैट में बदलता है और उन्हें सिस्टम प्रॉम्प्ट में डालता है. फ़ॉर्मैटर, उपयोगकर्ता और मॉडल के टर्न को दिखाने के लिए, मॉडल के हिसाब से टोकन भी मैनेज करता है. एपीआई, ModelFormatter इंटरफ़ेस का इस्तेमाल करता है.
- आउटपुट पार्सर: FC SDK टूल, एक पार्सर उपलब्ध कराता है. यह पार्सर यह पता लगाता है कि मॉडल का आउटपुट, फ़ंक्शन कॉल दिखाता है या नहीं. साथ ही, ऐप्लिकेशन के इस्तेमाल के लिए, इसे डेटा स्ट्रक्चर में पार्स करता है. एपीआई, ModelFormatter इंटरफ़ेस का इस्तेमाल करता है.
- सीमित डेकोडिंग: यह एक इंटरफ़ेस है, जिसकी मदद से पाबंदियां बनाई और मैनेज की जा सकती हैं. इससे यह पक्का किया जा सकता है कि जनरेट किया गया आउटपुट, खास नियमों या शर्तों का पालन करता हो. काम करने वाले मॉडल के लिए, FC SDK टूल, सीमित डिकोडिंग का इस्तेमाल करने के लिए, अनुमान लगाने वाले बैकएंड को कॉन्फ़िगर करेगा. इससे यह पक्का होता है कि मॉडल सिर्फ़ मान्य फ़ंक्शन के नाम और पैरामीटर दिखाए. यह एपीआई, ConstraintProvider इंटरफ़ेस का इस्तेमाल करता है.