AI Edge Function Calling SDK (FC SDK) — это библиотека, которая позволяет разработчикам использовать вызов функций с LLM на устройстве. Вызов функций позволяет подключать модели к внешним инструментам и API, позволяя моделям вызывать определенные функции с необходимыми параметрами для выполнения реальных действий.
Вместо того чтобы просто генерировать текст, LLM с помощью FC SDK может генерировать структурированный вызов функции, которая выполняет действие, например поиск актуальной информации, установку будильников или бронирование.
AI Edge FC SDK доступен для Android и может быть полностью запущен на устройстве с LLM Inference API. Начните использовать SDK, следуя руководству Android , которое проведет вас через базовую реализацию примера приложения с использованием вызова функций.
Конвейер вызова функций
Для настройки локального LLM с возможностями вызова функций необходимо выполнить следующие основные шаги:
- Определите декларации функций : структура и параметры функций, которые может вызывать LLM, должны быть определены в коде вашего приложения. Это включает указание имен функций, параметров и типов.
- Форматирование приглашений и выходов : Входной и выходной текст может содержать естественный язык и вызовы функций. Форматировщик управляет тем, как структуры данных преобразуются в строки и из них, позволяя LLM соответствующим образом форматировать информацию.
- Анализ выходных данных : анализатор определяет, содержит ли сгенерированный ответ вызов функции, и преобразует его в структурированный тип данных, чтобы приложение могло выполнить вызов функции.
- Проверить ответы : Если парсер обнаруживает вызов функции, приложение вызывает функцию с соответствующими параметрами и структурированным типом данных. В противном случае оно возвращает текст на естественном языке.
Ключевые компоненты
FC SDK содержит следующие ключевые компоненты:
- Inference Backend : Интерфейс для запуска вывода на генеративной модели ИИ. FC SDK использует LLM Inference API для выполнения вывода на моделях LiteRT (TFLite). API использует интерфейс InferenceBackend .
- Prompt Formatter : Интерфейс для форматирования запросов и ответов в и из модели Generative AI. FC SDK предоставляет форматер, который преобразует объявления функций в формат, специфичный для модели, требуемый LLM, и вставляет их в системное приглашение. Форматер также обрабатывает токены, специфичные для модели, для указания поворотов пользователя и модели. API использует интерфейс ModelFormatter .
- Output Parser : FC SDK предоставляет парсер, который определяет, представляет ли выход модели вызов функции, и анализирует его в структуру данных для использования приложением. API использует интерфейс ModelFormatter .
- Constrained Decoding : Интерфейс для создания и управления ограничениями, чтобы гарантировать, что сгенерированный вывод соответствует определенным правилам или условиям. Для поддерживаемых моделей FC SDK настроит бэкэнд вывода для использования ограниченного декодирования, что гарантирует, что модель выводит только допустимые имена функций и параметры. API использует интерфейс ConstraintProvider .