Guía de inferencia de LLM para iOS

La API de LLM Inference te permite ejecutar modelos grandes de lenguaje (LLM) completamente en el dispositivo para aplicaciones de iOS, que puedes usar para realizar diversas tareas, como como generar texto, recuperar información en formato de lenguaje natural y resumir documentos. La tarea proporciona compatibilidad integrada con varias modelos de lenguaje extensos de texto a texto, para que puedas aplicar modelos de IA generativa a tus apps para iOS.

Puedes ver esta tarea en acción con MediaPipe Studio demo. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación básica de una API de inferencia de LLM para iOS. Puedes usar la app como punto de partida para tu propia app para iOS. hacer referencia a él cuando modifiques una app existente. El código de ejemplo de la API de inferencia de LLM es alojado en GitHub:

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

1. Clona el repositorio de Git con el siguiente comando:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. De forma opcional, configura tu instancia de Git para que use un método de confirmación de la compra disperso solo los archivos de la app de ejemplo de la API de inferencia de LLM:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/llm_inference/ios/
   

Después de crear una versión local del código de ejemplo, puedes instalar el MediaPipe, abre el proyecto con Xcode y ejecuta la app. Para consulta la Guía de configuración para iOS.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código para usar la API de inferencia de LLM. Para obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluida la versión de la plataforma consulta la Guía de configuración para iOS.

Dependencias

La API de inferencia de LLM usa la biblioteca MediaPipeTasksGenai, que debe instalarse con CocoaPods. La biblioteca es compatible con apps de Swift y Objective-C y no requiere ninguna configuración adicional específica de idioma.

Si necesitas instrucciones para instalar CocoaPods en macOS, consulta los CocoaPods guía de instalación. Obtén instrucciones para crear un Podfile con los Pods necesarios para tu consulta Cómo usar CocoaPods.

Agrega el Pod MediaPipeTasksGenai a Podfile con el siguiente código:

target 'MyLlmInferenceApp' do
  use_frameworks!
  pod 'MediaPipeTasksGenAI'
  pod 'MediaPipeTasksGenAIC'
end

Si tu app incluye objetivos de prueba de unidades, consulta la Guía de configuración de iOS para obtener más información sobre la configuración tu Podfile.

Modelo

La tarea de la API de inferencia de MediaPipe LLM requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles API de inferencia de LLM, consulta la descripción general de la tarea en la sección Modelos.

Descarga un modelo

Descarga un modelo y agrégalo al directorio de tu proyecto con Xcode. Para Para obtener instrucciones sobre cómo agregar archivos a tu proyecto de Xcode, consulta Administra archivos y carpetas del código proyecto.

Descargar Gemma 2B

Cuando compiles apps para iOS, usa una de las siguientes variantes:

• gemma-2b-it-cpu-int4: Modelo Gemma de 4 bits compatible con CPU.
• gemma-2b-it-gpu-int4: Modelo de Gemma de 4 bits compatible con GPU.
• Modelos asignados de AI Edge Torch que cumplen con los requisitos de memoria de iOS.

Para obtener más información sobre otros modelos, consulta la descripción general de la tarea Modelos .

Crea la tarea

Puedes crear la tarea de la API de inferencia de LLM llamando a uno de sus inicializadores. El El inicializador LlmInference(options:) establece valores para las opciones de configuración.

Si no necesitas una API de inferencia de LLM que se inicialice con una configuración personalizada puedes usar el inicializador LlmInference(modelPath:) para crear un API de inferencia de LLM con las opciones predeterminadas. Para obtener más información sobre la configuración consulta Descripción general de la configuración.

En el siguiente código, se muestra cómo compilar y configurar esta tarea.

import MediaPipeTasksGenai

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "bin")

let options = LlmInferenceOptions()
options.baseOptions.modelPath = modelPath
options.maxTokens = 1000
options.topk = 40
options.temperature = 0.8
options.randomSeed = 101

let LlmInference = try LlmInference(options: options)

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para las apps para iOS:

Preparar los datos

La API de LLM Inference funciona con datos de texto. La tarea maneja la entrada de datos el procesamiento previo, incluida la asignación de token y el procesamiento previo del tensor.

Todo el procesamiento previo se controla dentro de la función generateResponse(inputText:). No es necesario realizar un procesamiento previo adicional del texto de entrada de antemano.

let inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."

Ejecuta la tarea

Para ejecutar la API de inferencia de LLM, usa el método generateResponse(inputText:). El La API de inferencia de LLM devuelve las categorías posibles para el texto de entrada.

let result = try LlmInference.generateResponse(inputText: inputPrompt)

Para transmitir la respuesta, usa el método generateResponseAsync(inputText:).

let resultStream =  LlmInference.generateResponseAsync(inputText: inputPrompt)

do {
  for try await partialResult in resultStream {
    print("\(partialResult)")
  }
  print("Done")
}
catch {
  print("Response error: '\(error)")
}

Cómo controlar y mostrar resultados

La API de inferencia de LLM devuelve un LlmInferenceResult, que incluye el el texto de respuesta.

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

Personalización del modelo LoRA

La API de inferencia de LLM de Mediapipe se puede configurar para admitir una adaptación de clasificación baja (LoRA) para modelos grandes de lenguaje. Con modelos de LoRA ajustados, los desarrolladores pueden personalizar el comportamiento de los LLM con un proceso de entrenamiento rentable

La compatibilidad de LoRA con la API de inferencia de LLM funciona para los modelos Gemma-2B y Phi-2 para el backend de la GPU, con ponderaciones de LoRA aplicables solo a las capas de atención. Esta la implementación inicial sirve como una API experimental para futuros desarrollos y planea admitir más modelos y varios tipos de capas en las próximas actualizaciones.

Prepara modelos de LoRA

Sigue las instrucciones de HuggingFace para entrenar un modelo LoRA ajustado en tu propio conjunto de datos con tipos de modelos compatibles, Gemma-2B o Phi-2. Los modelos Gemma-2B y Phi-2 están disponibles en HuggingFace en el formato de tensores. Dado que la API de inferencia de LLM solo admite LoRA en las capas de atención, solo especifica capas de atención mientras creas el objeto LoraConfig de la siguiente manera:

# For Gemma-2B
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

Para las pruebas, existen modelos de LoRA ajustados de acceso público que se ajustan a la API de inferencia de LLM disponibles en HuggingFace. Por ejemplo, monsterapi/gemma-2b-lora-maths-orca-200k para Gemma-2B y lole25/phi-2-sft-ultrachat-lora para Phi-2.

Después de entrenar con el conjunto de datos preparado y guardar el modelo, obtendrás un archivo adapter_model.safetensors que contiene los pesos del modelo LoRA ajustado. El archivo de tensores es el punto de control de LoRA que se usa en la conversión del modelo.

El siguiente paso es convertir los pesos del modelo en un búfer plano de TensorFlow Lite con el paquete MediaPipe de Python. El elemento ConversionConfig debe especificar las opciones del modelo base y las opciones adicionales de LoRA. Ten en cuenta que, como la API solo admite inferencias LoRA con GPU, el backend debe establecerse en 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

El conversor generará dos archivos de búfer plano de TFLite, uno para el modelo base y el otro para el modelo LoRA.

Inferencia del modelo LoRA

Se actualizó la API de LLM Inference para la Web, iOS y Android para admitir la inferencia del modelo LoRA. La Web admite LoRA dinámica, que puede cambiar diferentes modelos de LoRA durante el tiempo de ejecución. iOS y Android admiten la LoRA estática, que usa los mismos pesos de LoRA durante el ciclo de vida de la tarea.

import MediaPipeTasksGenai

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "bin")
let loraPath= Bundle.main.path(forResource: "lora_model",
                                      ofType: "bin")
let options = LlmInferenceOptions()
options.modelPath = modelPath
options.maxTokens = 1000
options.topk = 40
options.temperature = 0.8
options.randomSeed = 101
options.loraPath = loraPath

let LlmInference = try LlmInference(options: options)

Para ejecutar la inferencia de LLM con LoRA, usa los mismos métodos generateResponse() o generateResponseAsync() que el modelo base.