ערכת ה-SDK של AI Edge Function Calling (FC SDK) היא ספרייה שמאפשרת למפתחים להשתמש ב-Function Calling עם מודלים גדולים של שפה (LLM) במכשיר. התכונה 'קריאה לפונקציות' מאפשרת לכם לקשר מודלים לכלים חיצוניים ולממשקי API, וכך המודלים יכולים לקרוא לפונקציות ספציפיות עם הפרמטרים הנדרשים כדי לבצע פעולות בעולם האמיתי.
במקום רק ליצור טקסט, מודל LLM שמשתמש ב-FC SDK יכול ליצור קריאה מובנית לפונקציה שמבצעת פעולה, כמו חיפוש מידע עדכני, הגדרת שעונים מעוררים או ביצוע הזמנות.
ערכת ה-SDK של AI Edge FC זמינה ל-Android ואפשר להפעיל אותה באופן מלא במכשיר באמצעות LLM Inference API. כדי להתחיל להשתמש ב-SDK, צריך לפעול לפי המדריך ל-Android, שכולל הסבר על הטמעה בסיסית של אפליקציה לדוגמה באמצעות קריאה לפונקציה.
צינור עיבוד נתונים של בקשות להפעלת פונקציה
כדי להגדיר LLM במכשיר עם יכולות של קריאה לפונקציות, צריך לבצע את השלבים העיקריים הבאים:
- הגדרת הצהרות על פונקציות: המבנה והפרמטרים של הפונקציות שה-LLM יכול להפעיל צריכים להיות מוגדרים בקוד האפליקציה. זה כולל ציון של שמות פונקציות, פרמטרים וסוגים.
- עיצוב הנחיות ופלט: טקסט הקלט והפלט יכול להכיל שפה טבעית וקריאות לפונקציות. מעצב קובע איך מבני נתונים מומרים למחרוזות וממחרוזות למבני נתונים, וכך מאפשר ל-LLM לעצב מידע בצורה מתאימה.
- ניתוח הפלט: רכיב ניתוח מזהה אם התשובה שנוצרה מכילה קריאה לפונקציה ומנתח אותה לסוג נתונים מובנה, כדי שהאפליקציה תוכל להפעיל את הקריאה לפונקציה.
- בדיקת התגובות: אם מנתח התגובות מזהה קריאה לפונקציה, האפליקציה קוראת לפונקציה עם הפרמטרים המתאימים ועם סוג הנתונים המובנה. אחרת, הפונקציה מחזירה טקסט בשפה טבעית.
רכיבים מרכזיים
ערכת ה-SDK של FC מכילה את הרכיבים העיקריים הבאים:
- קצה עורפי של הסקת מסקנות: ממשק להרצת הסקת מסקנות במודל של AI גנרטיבי. ערכת ה-SDK של FC משתמשת ב-LLM Inference API כדי להריץ הסקה במודלים של LiteRT (TFLite). ה-API משתמש בממשק InferenceBackend.
- מעצב הנחיות: ממשק לעיצוב בקשות ותשובות אל וממודל ה-AI הגנרטיבי. ה-SDK של FC מספק מעצב שממיר הצהרות פונקציה לפורמט הספציפי של המודל שנדרש על ידי ה-LLM, ומכניס אותן להנחיית המערכת. המעצב מטפל גם בטוקנים ספציפיים למודל כדי לציין תורות של משתמשים ומודלים. ה-API משתמש בממשק ModelFormatter.
- כלי לניתוח פלט: ה-SDK של FC מספק כלי לניתוח שמזהה אם הפלט של המודל מייצג קריאה לפונקציה ומנתח אותו למבנה נתונים לשימוש באפליקציה. ה-API משתמש בממשק ModelFormatter.
- פענוח מוגבל: ממשק ליצירה ולניהול של מגבלות כדי לוודא שהפלט שנוצר עומד בכללים או בתנאים ספציפיים. במודלים נתמכים, ה-SDK של FC יגדיר את העורף האחורי של ההיסק כך שישתמש בפענוח מוגבל, כדי להבטיח שהמודל יפיק רק שמות ופרמטרים של פונקציות תקינות. ה-API משתמש בממשק ConstraintProvider.