AI Edge 函式呼叫 SDK (FC SDK) 是一項程式庫，可讓開發人員搭配使用函式呼叫與裝置端大型語言模型。函式呼叫功能可將模型連結至外部工具和 API，讓模型呼叫特定函式，並使用必要參數執行現實世界的動作。
使用 FC SDK 的 LLM 不僅能生成文字，還能生成函式的結構化呼叫，執行搜尋最新資訊、設定鬧鐘或預訂等動作。
AI Edge FC SDK 適用於 Android，可透過 LLM 推論 API 完全在裝置上執行。請參閱 Android 指南，開始使用 SDK。這份指南會逐步說明如何使用函式呼叫，基本實作範例應用程式。
函式呼叫管道
如要設定具備函式呼叫功能的裝置端 LLM，請完成下列主要步驟：
- 定義函式宣告：您必須在應用程式碼中定義 LLM 可呼叫函式的結構和參數。包括指定函式名稱、參數和型別。
- 格式化提示和輸出內容：輸入和輸出文字可包含自然語言和函式呼叫。格式化工具可控制資料結構與字串之間的轉換方式，讓 LLM 適當格式化資訊。
- 剖析輸出內容：剖析器會偵測產生的回覆是否包含函式呼叫，並將其剖析為結構化資料類型，以便應用程式執行函式呼叫。
- 檢查回應：如果剖析器偵測到函式呼叫，應用程式會使用適當的參數和結構化資料類型呼叫函式。否則會傳回自然語言文字。
重要元件
FC SDK 包含下列重要元件：
- 推論後端：用於對生成式 AI 模型執行推論的介面。FC SDK 會使用 LLM 推論 API，對 LiteRT (TFLite) 模型執行推論。API 使用 InferenceBackend 介面。
- 提示格式化工具：這個介面可格式化傳送給生成式 AI 模型的要求，以及模型傳回的回覆。FC SDK 提供格式化工具，可將函式宣告轉換為 LLM 要求的模型專屬格式，並插入系統提示。格式化工具也會處理模型專屬權杖，指出使用者和模型的回合。這個 API 使用 ModelFormatter 介面。
- 輸出內容剖析器：FC SDK 提供剖析器，可偵測模型輸出內容是否代表函式呼叫，並將其剖析為資料結構，供應用程式使用。這個 API 使用 ModelFormatter 介面。
- 受限解碼：這個介面可建立及管理限制，確保生成的輸出內容符合特定規則或條件。對於支援的模型，FC SDK 會設定推論後端，以使用受限解碼，確保模型只輸出有效的函式名稱和參數。API 會使用 ConstraintProvider 介面。