AI Edge Function Calling SDK (FC SDK) คือไลบรารีที่ช่วยให้นักพัฒนาซอฟต์แวร์ ใช้การเรียกใช้ฟังก์ชันกับ LLM บนอุปกรณ์ได้ การเรียกใช้ฟังก์ชันช่วยให้คุณเชื่อมต่อโมเดลกับเครื่องมือและ API ภายนอกได้ ซึ่งจะช่วยให้โมเดลเรียกใช้ฟังก์ชันที่เฉพาะเจาะจงพร้อมพารามิเตอร์ที่จำเป็นเพื่อดำเนินการในโลกแห่งความจริงได้
LLM ที่ใช้ FC SDK ไม่ได้สร้างข้อความเท่านั้น แต่ยังสร้างการเรียกฟังก์ชันที่มีโครงสร้างซึ่งดำเนินการ เช่น ค้นหาข้อมูลล่าสุด ตั้งปลุก หรือจอง
AI Edge FC SDK พร้อมใช้งานสำหรับ Android และสามารถเรียกใช้บนอุปกรณ์ได้อย่างสมบูรณ์ ด้วย LLM Inference API เริ่มต้นใช้งาน SDK โดยทำตามคำแนะนำสำหรับ Android ซึ่งจะแนะนำการใช้งานพื้นฐานของแอปพลิเคชัน ตัวอย่างโดยใช้การเรียกฟังก์ชัน
ไปป์ไลน์การเรียกใช้ฟังก์ชัน
การตั้งค่า LLM ในอุปกรณ์ที่มีความสามารถในการเรียกใช้ฟังก์ชันต้องทำตามขั้นตอนสำคัญต่อไปนี้
- กำหนดการประกาศฟังก์ชัน: โครงสร้างและพารามิเตอร์ของฟังก์ชันที่ LLM เรียกได้ต้องกำหนดไว้ในโค้ดแอปพลิเคชัน ซึ่งรวมถึงการระบุชื่อฟังก์ชัน พารามิเตอร์ และประเภท
- จัดรูปแบบพรอมต์และเอาต์พุต: ข้อความอินพุตและเอาต์พุตอาจมีภาษาธรรมชาติ และการเรียกใช้ฟังก์ชัน ตัวจัดรูปแบบจะควบคุมวิธีแปลงโครงสร้างข้อมูลเป็นสตริงและจากสตริง ซึ่งช่วยให้ LLM จัดรูปแบบข้อมูลได้อย่างเหมาะสม
- แยกวิเคราะห์เอาต์พุต: ตัวแยกวิเคราะห์จะตรวจหาว่าการตอบกลับที่สร้างขึ้นมีการเรียกใช้ฟังก์ชันหรือไม่ และแยกวิเคราะห์การเรียกใช้ฟังก์ชันนั้นเป็นประเภทข้อมูลที่มีโครงสร้างเพื่อให้แอปพลิเคชันเรียกใช้ฟังก์ชันได้
- ตรวจสอบการตอบกลับ: หากตัวแยกวิเคราะห์ตรวจพบการเรียกฟังก์ชัน แอปพลิเคชันจะเรียกฟังก์ชันด้วยพารามิเตอร์ที่เหมาะสมและประเภทข้อมูลที่มีโครงสร้าง ไม่เช่นนั้น ฟังก์ชันจะแสดงข้อความภาษาธรรมชาติ
องค์ประกอบหลัก
FC SDK มีคอมโพเนนต์หลักต่อไปนี้
- แบ็กเอนด์การอนุมาน: อินเทอร์เฟซสำหรับเรียกใช้การอนุมานในโมเดล Generative AI FC SDK ใช้ LLM Inference API เพื่อดำเนินการอนุมานในโมเดล LiteRT (TFLite) API ใช้ InferenceBackend อินเทอร์เฟซ
- ตัวจัดรูปแบบพรอมต์: อินเทอร์เฟซสำหรับจัดรูปแบบคำขอและคำตอบไปยังและจากโมเดล Generative AI FC SDK มีตัวจัดรูปแบบที่ แปลงการประกาศฟังก์ชันเป็นรูปแบบเฉพาะของโมเดลที่ LLM ต้องการ และแทรกลงในพรอมต์ของระบบ นอกจากนี้ ตัวจัดรูปแบบยังจัดการโทเค็นเฉพาะโมเดลเพื่อระบุเทิร์นของผู้ใช้และโมเดลด้วย API ใช้ ModelFormatter อินเทอร์เฟซ
- Output Parser: FC SDK มีตัวแยกวิเคราะห์ที่ตรวจหาว่าเอาต์พุตของโมเดล แสดงถึงการเรียกใช้ฟังก์ชันหรือไม่ และแยกวิเคราะห์เป็นโครงสร้างข้อมูลเพื่อให้แอปพลิเคชัน ใช้งาน API ใช้ ModelFormatter อินเทอร์เฟซ
- การถอดรหัสแบบจำกัด: อินเทอร์เฟซสำหรับสร้างและจัดการข้อจำกัด เพื่อให้แน่ใจว่าเอาต์พุตที่สร้างขึ้นเป็นไปตามกฎหรือเงื่อนไขที่เฉพาะเจาะจง สำหรับโมเดลที่รองรับ FC SDK จะกำหนดค่าแบ็กเอนด์การอนุมานให้ใช้ การถอดรหัสแบบจำกัด ซึ่งจะช่วยให้มั่นใจได้ว่าโมเดลจะแสดงเฉพาะชื่อฟังก์ชันและพารามิเตอร์ที่ถูกต้อง เท่านั้น API ใช้ ConstraintProvider อินเทอร์เฟซ