AI Edge Function Calling SDK (FC SDK) คือไลบรารีที่ช่วยให้นักพัฒนาแอปใช้การเรียกใช้ฟังก์ชันกับ LLM บนอุปกรณ์ได้ การเรียกใช้ฟังก์ชันช่วยให้คุณเชื่อมต่อโมเดลกับเครื่องมือและ API ภายนอกได้ ซึ่งช่วยให้โมเดลเรียกใช้ฟังก์ชันที่เฉพาะเจาะจงได้พร้อมพารามิเตอร์ที่จําเป็นเพื่อดําเนินการในชีวิตจริง
LLM ที่ใช้ FC SDK สามารถสร้างการเรียกแบบมีโครงสร้างไปยังฟังก์ชันที่ดำเนินการต่างๆ ได้ เช่น การค้นหาข้อมูลล่าสุด การตั้งปลุก หรือการจอง แทนที่จะสร้างแค่ข้อความ
AI Edge FC SDK พร้อมใช้งานสำหรับ Android และสามารถทำงานบนอุปกรณ์ได้ทั้งหมดด้วย LLM Inference API เริ่มใช้ SDK โดยทําตามคําแนะนําสําหรับ Android ซึ่งจะอธิบายการใช้งานพื้นฐานของแอปพลิเคชันตัวอย่างโดยใช้การเรียกฟังก์ชัน
ไปป์ไลน์การเรียกใช้ฟังก์ชัน
การตั้งค่า LLM ในอุปกรณ์ที่พร้อมใช้งานการเรียกฟังก์ชันต้องทําตามขั้นตอนสําคัญต่อไปนี้
- กำหนดประกาศฟังก์ชัน: โครงสร้างและพารามิเตอร์ของฟังก์ชันที่ LLM สามารถเรียกใช้ได้ต้องกำหนดไว้ในโค้ดแอปพลิเคชัน ซึ่งรวมถึงการระบุชื่อ พารามิเตอร์ และประเภทของฟังก์ชัน
- จัดรูปแบบพรอมต์และเอาต์พุต: ข้อความอินพุตและเอาต์พุตอาจมีภาษาที่เป็นธรรมชาติและการเรียกใช้ฟังก์ชัน ตัวจัดรูปแบบจะควบคุมวิธีแปลงโครงสร้างข้อมูลเป็นสตริงและจากสตริง ซึ่งช่วยให้ LLM จัดรูปแบบข้อมูลได้อย่างเหมาะสม
- แยกวิเคราะห์เอาต์พุต: โปรแกรมแยกวิเคราะห์จะตรวจหาว่าการตอบกลับที่สร้างขึ้นมีการเรียกใช้ฟังก์ชันหรือไม่ และแยกวิเคราะห์เป็น Structured Data ประเภทต่างๆ เพื่อให้แอปพลิเคชันเรียกใช้ฟังก์ชันได้
- ตรวจสอบคำตอบ: หากโปรแกรมแยกวิเคราะห์ตรวจพบการเรียกใช้ฟังก์ชัน แอปพลิเคชันจะเรียกใช้ฟังก์ชันนั้นด้วยพารามิเตอร์และประเภท Structured Data ที่เหมาะสม ไม่เช่นนั้น ระบบจะแสดงผลเป็นข้อความภาษาธรรมชาติ
องค์ประกอบหลัก
FC SDK ประกอบด้วยคอมโพเนนต์หลักต่อไปนี้
- แบ็กเอนด์การอนุมาน: อินเทอร์เฟซสําหรับเรียกใช้การอนุมานในโมเดล Generative AI FC SDK ใช้ LLM Inference API เพื่อทำการอนุมานในโมเดล LiteRT (TFLite) API ใช้อินเทอร์เฟซ InferenceBackend
- เครื่องมือจัดรูปแบบพรอมต์: อินเทอร์เฟซสำหรับการจัดรูปแบบคำขอและการตอบกลับจากโมเดล Generative AI FC SDK มีเครื่องมือจัดรูปแบบที่จะแปลงการประกาศฟังก์ชันเป็นรูปแบบเฉพาะโมเดลที่ LLM ต้องการ และแทรกลงในพรอมต์ของระบบ นอกจากนี้ ตัวจัดรูปแบบยังจัดการโทเค็นเฉพาะโมเดลเพื่อระบุการเปลี่ยนของผู้ใช้ในโมเดลด้วย API ใช้อินเทอร์เฟซ ModelFormatter
- โปรแกรมแยกวิเคราะห์เอาต์พุต: FC SDK มีโปรแกรมแยกวิเคราะห์ที่ตรวจจับว่าเอาต์พุตของโมเดลแสดงการเรียกใช้ฟังก์ชันหรือไม่ และแยกวิเคราะห์เป็นโครงสร้างข้อมูลเพื่อให้แอปพลิเคชันใช้งาน API ใช้อินเทอร์เฟซ ModelFormatter
- การถอดรหัสแบบจำกัด: อินเทอร์เฟซสำหรับสร้างและจัดการข้อจำกัดเพื่อให้แน่ใจว่าเอาต์พุตที่สร้างขึ้นเป็นไปตามกฎหรือเงื่อนไขที่เฉพาะเจาะจง สำหรับโมเดลที่รองรับ FC SDK จะกําหนดค่าแบ็กเอนด์การอนุมานให้ใช้การถอดรหัสแบบจํากัด ซึ่งช่วยให้มั่นใจได้ว่าโมเดลจะแสดงผลเฉพาะชื่อและพารามิเตอร์ฟังก์ชันที่ถูกต้อง API ใช้อินเทอร์เฟซ ConstraintProvider