AI Edge 函式呼叫 SDK (FC SDK) 是可讓開發人員使用裝置端 LLM 的函式呼叫功能的程式庫。函式呼叫可讓您將模型連結至外部工具和 API，讓模型可透過必要參數呼叫特定函式，執行實際動作。
使用 FC SDK 的 LLM 不僅會產生文字，還能產生結構化呼叫，以便執行動作的函式，例如搜尋最新資訊、設定鬧鐘或預訂。
AI Edge FC SDK 適用於 Android，可透過 LLM 推論 API 完全在裝置上執行。請按照 Android 指南的說明，開始使用 SDK，這份指南會逐步引導您實作使用函式呼叫的範例應用程式。
函式呼叫管道
如要設定具備函式呼叫功能的裝置端 LLM，請按照下列重要步驟操作：
- 定義函式宣告：大型語言模型可呼叫的函式結構和參數必須在應用程式程式碼中定義。包括指定函式名稱、參數和類型。
- 格式化提示和輸出內容：輸入和輸出文字可包含自然語言和函式呼叫。格式化器會控制資料結構的轉換方式，並在字串之間轉換，讓大型語言模型能適當格式化資訊。
- 剖析輸出內容：剖析器會偵測產生的回應是否含有函式呼叫，並將其剖析為結構化資料類型，以便應用程式執行函式呼叫。
- 檢查回應：如果剖析器偵測到函式呼叫，應用程式會使用適當的參數和結構化資料類型呼叫函式。否則會傳回自然語言文字。
重要元件
FC SDK 包含下列關鍵元件：
- 推論後端：用於在生成式 AI 模型上執行推論的介面。FC SDK 會使用 LLM Inference API 在 LiteRT (TFLite) 模型上執行推論。這個 API 會使用 InferenceBackend 介面。
- 提示格式設定器：用於格式化生成式 AI 模型的請求和回覆的介面。FC SDK 提供格式化工具，可將函式宣告轉換為 LLM 所需的模型專屬格式，並將其插入系統提示中。格式化工具也會處理特定模型的符記，用於表示使用者和模型的回合。這個 API 會使用 ModelFormatter 介面。
- 輸出解析器：FC SDK 提供解析器，可偵測模型輸出內容是否代表函式呼叫，並將其解析為可供應用程式使用的資料結構。這個 API 會使用 ModelFormatter 介面。
- 受限解碼：用於建立及管理限制的介面，可確保產生的輸出內容符合特定規則或條件。對於支援的模型，FC SDK 會將推論後端設定為使用受限解碼，確保模型只輸出有效的函式名稱和參數。這個 API 會使用 ConstraintProvider 介面。