Guía de llamadas a funciones de IA en Edge

El SDK de llamadas a funciones de Vertex AI Edge (SDK de FC) es una biblioteca que permite a los desarrolladores usar llamadas a función con LLM en el dispositivo. Las llamadas a función te permiten conectar modelos a herramientas y APIs externas, lo que permite que los modelos llamen a funciones específicas con los parámetros necesarios para ejecutar acciones reales.

En lugar de solo generar texto, un LLM que usa el SDK de FC puede generar una llamada estructurada a una función que ejecuta una acción, como buscar información actualizada, configurar alarmas o hacer reservas.

El SDK de FC de AI Edge está disponible para Android y se puede ejecutar completamente en el dispositivo con la API de inferencia de LLM. Para comenzar a usar el SDK, sigue la guía de Android, que te guiará por una implementación básica de una aplicación de ejemplo con llamadas a funciones.

Canalización de llamadas a función

La configuración de un LLM integrado en el dispositivo con capacidades de llamada a función requiere los siguientes pasos clave:

  1. Define declaraciones de funciones: La estructura y los parámetros de las funciones a las que puede llamar el LLM se deben definir en el código de tu aplicación. Esto incluye especificar los nombres, los parámetros y los tipos de las funciones.
  2. Formato de instrucciones y resultados: El texto de entrada y salida puede contener lenguaje natural y llamadas a funciones. Un formateador controla cómo se convierten las estructuras de datos a cadenas y viceversa, lo que permite que el LLM le asigne el formato adecuado a la información.
  3. Analizar resultados: Un analizador detecta si la respuesta generada contiene una llamada a función y la analiza en un tipo de datos estructurado para que la aplicación pueda ejecutar la llamada a función.
  4. Examinar respuestas: Si el analizador detecta una llamada a función, la aplicación llama a la función con los parámetros y el tipo de datos estructurados adecuados. De lo contrario, muestra texto en lenguaje natural.

Componentes clave

El SDK de FC contiene los siguientes componentes clave:

  • Backend de inferencia: Es una interfaz para ejecutar inferencias en un modelo de IA generativa. El SDK de FC usa la API de inferencia de LLM para ejecutar inferencias en modelos de LiteRT (TFLite). La API usa la interfaz InferenceBackend.
  • Prompt Formatter: Es una interfaz para dar formato a las solicitudes y respuestas hacia y desde el modelo de IA generativa. El SDK de FC proporciona un formato que convierte las declaraciones de funciones en el formato específico del modelo que requiere el LLM y las inserta en la instrucción del sistema. El formateador también controla los tokens específicos del modelo para indicar los turnos del usuario y del modelo. La API usa la interfaz ModelFormatter.
  • Analizador de salida: El SDK de FC proporciona un analizador que detecta si el resultado del modelo representa una llamada a función y la analiza en una estructura de datos para que la use la aplicación. La API usa la interfaz ModelFormatter.
  • Decodificación restringida: Es una interfaz para crear y administrar restricciones con el fin de garantizar que el resultado generado cumpla con reglas o condiciones específicas. En el caso de los modelos compatibles, el SDK de FC configurará el backend de inferencia para usar la decodificación restringida, lo que garantiza que el modelo solo genere nombres y parámetros de función válidos. La API usa la interfaz ConstraintProvider.