AI Edge Function Calling SDK (FC SDK) là một thư viện cho phép nhà phát triển sử dụng tính năng gọi hàm với các LLM trên thiết bị. Tính năng gọi hàm cho phép bạn kết nối các mô hình với các công cụ và API bên ngoài, giúp các mô hình gọi các hàm cụ thể bằng các tham số cần thiết để thực hiện các hành động trong thế giới thực.
Thay vì chỉ tạo văn bản, một LLM sử dụng FC SDK có thể tạo một lệnh gọi có cấu trúc đến một hàm thực thi một hành động, chẳng hạn như tìm kiếm thông tin mới nhất, đặt báo thức hoặc đặt chỗ.
AI Edge FC SDK có sẵn cho Android và có thể chạy hoàn toàn trên thiết bị bằng LLM Inference API. Bắt đầu sử dụng SDK bằng cách làm theo hướng dẫn dành cho Android. Hướng dẫn này sẽ hướng dẫn bạn cách triển khai cơ bản một ứng dụng mẫu bằng cách sử dụng tính năng gọi hàm.
Quy trình gọi hàm
Để thiết lập một LLM trên thiết bị có khả năng gọi hàm, bạn cần thực hiện các bước chính sau:
- Xác định khai báo hàm: Cấu trúc và các tham số của những hàm mà LLM có thể gọi phải được xác định trong mã ứng dụng của bạn. Trong đó có việc chỉ định tên hàm, tham số và kiểu.
- Định dạng câu lệnh và kết quả: Văn bản đầu vào và đầu ra có thể chứa ngôn ngữ tự nhiên và lệnh gọi hàm. Trình định dạng kiểm soát cách các cấu trúc dữ liệu được chuyển đổi thành và từ các chuỗi, cho phép LLM định dạng thông tin một cách thích hợp.
- Phân tích cú pháp đầu ra: Trình phân tích cú pháp phát hiện xem phản hồi được tạo có chứa lệnh gọi hàm hay không và phân tích cú pháp phản hồi đó thành một loại dữ liệu có cấu trúc để ứng dụng có thể thực thi lệnh gọi hàm.
- Kiểm tra các phản hồi: Nếu trình phân tích cú pháp phát hiện một lệnh gọi hàm, ứng dụng sẽ gọi hàm bằng các tham số thích hợp và kiểu dữ liệu có cấu trúc. Nếu không, hàm này sẽ trả về văn bản bằng ngôn ngữ tự nhiên.
Thành phần chính
FC SDK chứa các thành phần chính sau:
- Phần phụ trợ suy luận: Một giao diện để chạy suy luận trên mô hình AI tạo sinh. FC SDK sử dụng LLM Inference API để thực thi suy luận trên các mô hình LiteRT (TFLite). API này sử dụng giao diện InferenceBackend.
- Trình định dạng câu lệnh: Một giao diện để định dạng các yêu cầu và phản hồi đến và đi từ mô hình AI tạo sinh. FC SDK cung cấp một trình định dạng chuyển đổi các khai báo hàm thành định dạng dành riêng cho mô hình mà LLM yêu cầu và chèn các khai báo đó vào lời nhắc hệ thống. Trình định dạng cũng xử lý các mã thông báo dành riêng cho mô hình để cho biết lượt của người dùng và mô hình. API này sử dụng giao diện ModelFormatter.
- Trình phân tích cú pháp đầu ra: FC SDK cung cấp một trình phân tích cú pháp để phát hiện xem đầu ra của mô hình có biểu thị một lệnh gọi hàm hay không và phân tích cú pháp đó thành một cấu trúc dữ liệu để ứng dụng sử dụng. API này sử dụng giao diện ModelFormatter.
- Giải mã có ràng buộc: Giao diện để tạo và quản lý các ràng buộc nhằm đảm bảo đầu ra được tạo tuân thủ các quy tắc hoặc điều kiện cụ thể. Đối với các mô hình được hỗ trợ, FC SDK sẽ định cấu hình phần phụ trợ suy luận để sử dụng tính năng giải mã bị hạn chế, đảm bảo rằng mô hình chỉ xuất ra các tên hàm và tham số hợp lệ. API này sử dụng giao diện ConstraintProvider.