O SDK de chamada de função (FC SDK) da IA de ponta é uma biblioteca que permite aos desenvolvedores usar a chamada de função com LLMs no dispositivo. Com a chamada de função, é possível conectar modelos a ferramentas e APIs externas, permitindo que eles chamem funções específicas com os parâmetros necessários para executar ações no mundo real.
Em vez de apenas gerar texto, um LLM que usa o SDK do FC pode gerar uma chamada estruturada para uma função que executa uma ação, como pesquisar informações atualizadas, definir alarmes ou fazer reservas.
O SDK AI Edge FC está disponível para Android e pode ser executado completamente no dispositivo com a API LLM Inference. Comece a usar o SDK seguindo o guia do Android, que mostra uma implementação básica de um aplicativo de exemplo usando chamadas de função.
Pipeline de chamada de função
Para configurar um LLM no dispositivo com recursos de chamada de função, siga estas etapas principais:
- Definir declarações de função: a estrutura e os parâmetros das funções que o LLM pode chamar precisam ser definidos no código do aplicativo. Isso inclui especificar nomes, parâmetros e tipos de funções.
- Formatar comandos e saídas: o texto de entrada e saída pode conter linguagem natural e chamadas de função. Um formatador controla como as estruturas de dados são convertidas em strings e vice-versa, permitindo que o LLM formate as informações de maneira adequada.
- Analisar saídas: um analisador detecta se a resposta gerada contém uma chamada de função e a analisa em um tipo de dados estruturados para que o aplicativo possa executar a chamada de função.
- Examinar respostas: se o analisador detectar uma chamada de função, o aplicativo vai chamar a função com os parâmetros adequados e tipo de dados estruturados. Caso contrário, ele retorna texto em linguagem natural.
Principais componentes
O SDK do FC contém os seguintes componentes principais:
- Back-end de inferência: uma interface para executar inferências em um modelo de IA generativa. O SDK do FC usa a API LLM Inference para executar inferências em modelos LiteRT (TFLite). A API usa a interface InferenceBackend.
- Formatador de comandos: uma interface para formatar solicitações e respostas para e do modelo de IA generativa. O SDK do FC fornece um formatador que converte declarações de função no formato específico do modelo exigido pelo LLM e as insere no comando do sistema. O formatador também processa tokens específicos do modelo para indicar as ações do usuário e do modelo. A API usa a interface ModelFormatter.
- Analisador de saída: o SDK do FC fornece um analisador que detecta se a saída do modelo representa uma chamada de função e a analisa em uma estrutura de dados para uso pelo aplicativo. A API usa a interface ModelFormatter.
- Decodificação restrita: uma interface para criar e gerenciar restrições e garantir que a saída gerada siga regras ou condições específicas. Para modelos compatíveis, o SDK do FC configura o back-end de inferência para usar decodificação restrita, o que garante que o modelo só gere nomes e parâmetros de função válidos. A API usa a interface ConstraintProvider.