全新推出：LiteRT：Google 专为设备端 AI 打造的高性能运行时，以前称为 TensorFlow Lite。

此页面由 Cloud Translation API 翻译。

适用于 Android 的 LLM 推断指南

<ph type="x-smartling-placeholder">。

借助 LLM Inference API，您可以完全在设备端运行大型语言模型 (LLM) 可用于执行各种任务、例如生成文本、检索自然语言形式的信息，以及汇总文档。任务为多个文本到文本大语言模型，以便在大语言模型中应用最新的生成式 AI 模型。

此任务支持 Gemma 2B - 基于同一研究成果构建的轻量级、先进的开放式模型系列 Gemini 模型所依托的技术。它还支持以下外部模型： Phi-2、 Falcon-RW-1B 和 StableLM-3B、以及通过 AI Edge 导出的所有模型。

如需详细了解功能、模型和配置选项部分，请参阅概览。

代码示例

本指南介绍的是 Android 版基本文本生成应用示例。您可以使用该应用作为基础来开发自己的 Android 应用，也可以指代该应用对现有应用进行了修改。示例代码托管在 GitHub

下载代码

以下说明介绍了如何创建示例的本地副本使用 git 命令行工具运行 git 代码库。

如需下载示例代码，请执行以下操作：

使用以下命令克隆 git 代码库：

git clone https://github.com/google-ai-edge/mediapipe-samples

（可选）配置您的 git 实例以使用稀疏检出，这样您只有 LLM Inference API 示例应用的文件：
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/llm_inference/android
```

创建示例代码的本地版本后，您可以导入项目进入 Android Studio 并运行应用。有关说明，请参阅适用于 Android 设备。

设置

本部分介绍了设置开发环境和 LLM Inference API 专用代码项目。有关设置开发环境以使用 MediaPipe 任务，包括平台版本要求，请参阅适用于 Android 设备。

依赖项

LLM Inference API 使用 com.google.mediapipe:tasks-genai 库。添加此项依赖项添加到 Android 应用的 build.gradle 文件中：

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.14'
}

型号

MediaPipe LLM Inference API 需要一个经过训练的文本到文本语言模型，与此任务兼容的名称。下载模型后，安装所需的依赖项并将模型推送到 Android 设备。如果您使用模型则需要将模型转换为 MediaPipe。

如需详细了解适用于 LLM Inference API 且经过训练的模型，请参阅概览模型部分。

下载模型

在初始化 LLM Inference API 之前，请下载一个受支持的模型并将文件存储在项目目录中：

Gemma 2B：属于轻量级、先进的开放式模型系列的一部分，研发创新型企业所用的研究和技术， Gemini 模型。非常适合各种包括问题解答、摘要和推理。
Phi-2：27 亿个参数 Transformer 模型，最适合用于问答、聊天和格式。
Falcon-RW-1B：10 亿基于 3500 亿个词元的纯因果解码器模型。 RefinedWeb。
StableLM-3B：3 使用 1 万亿个参数预训练的 10 亿个参数纯解码器语言模型不同英语和代码数据集的词元。

或者，您可以使用 AI Edge Troch。

建议您使用 Kaggle 上提供的 Gemma 2B 模型采用与 LLM Inference API 兼容的格式。如果您使用另一个 LLM，您需要将该模型转换为兼容 MediaPipe 的格式。有关 Gemma 2B 的详细信息，请参阅 Gemma 网站。如需详细了解请参阅任务概览的“模型”部分。

将模型转换为 MediaPipe 格式

原生模型转换

如果您使用的是外部 LLM（Phi-2、Falcon 或 StableLM）或非 Kaggle Gemma 版本，请使用我们的转换脚本来设置与 MediaPipe 兼容。

模型转换过程需要 MediaPipe PyPI 软件包。转化脚本在 0.10.11之后的所有 MediaPipe 软件包中都可用。

使用以下命令安装并导入依赖项：

$ python3 -m pip install mediapipe

使用 genai.converter 库转换模型：

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

如需转换 LoRA 模型，ConversionConfig 应指定基本模型以及其他 LoRA 选项请注意，由于 API 支持通过 GPU 进行 LoRA 推理，后端必须设置为 'gpu'。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

转换器会输出两个 TFLite Flatbuffer 文件，一个用于基础模型另一个用于 LoRA 模型。

参数	说明	接受的值
`input_ckpt`	`model.safetensors` 或 `pytorch.bin` 文件的路径。请注意，模型安全张量格式有时会拆分为多个文件，例如`model-00001-of-00003.safetensors`、`model-00001-of-00003.safetensors`。您可以指定文件格式，例如 `model*.safetensors`。	路径
`ckpt_format`	模型文件格式。	{"safetensors", "pytorch"}
`model_type`	要转换的 LLM。	{"PHI_2", "FALCON_RW_1B", "STABLELM_4E1T_3B", "GEMMA_2B"}
`backend`	用于运行模型的处理器（代理）。	{"cpu", "gpu"}
`output_dir`	托管每层权重文件的输出目录的路径。	路径
`output_tflite_file`	输出文件的路径。例如，“model_cpu.bin”或“model_gpu.bin”。此文件仅与 LLM Inference API 兼容，不能用作常规“tflite”文件。	路径
`vocab_model_file`	用于存储 `tokenizer.json` 和 `tokenizer_config.json` 个文件。对于 Gemma，请指向单个 `tokenizer.model` 文件。	路径
`lora_ckpt`	Safetensors 文件的 LoRA ckpt 的路径，该路径用于存储 LoRA 适配器权重。	路径
`lora_rank`	表示 LoRA ckpt 排名的整数。必需，才能转换 lora 权重。如果未提供，转换器会假定没有 LoRA 权重。注意：只有 GPU 后端支持 LoRA。	整数
`lora_output_tflite_file`	LoRA 权重的输出 tflite 文件名。	路径

AI Edge 模型转换

如果您正在使用通过 AI Edge 映射到 TFLite 模型的 LLM，请使用我们的捆绑脚本来创建任务包。捆绑流程会将映射的模型与其他元数据（例如，分词器参数）来运行端到端推理。

模型捆绑过程需要 MediaPipe PyPI 软件包。转化脚本在 0.10.14之后的所有 MediaPipe 软件包中都可用。

使用以下命令安装并导入依赖项：

$ python3 -m pip install mediapipe

使用 genai.bundler 库捆绑模型：

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

参数	说明	接受的值
`tflite_model`	AI Edge 导出的 TFLite 模型的路径。	路径
`tokenizer_model`	SentencePiece 标记生成器模型的路径。	路径
`start_token`	模型专用开始令牌。起始标记必须出现在提供的标记生成器模型。	STRING
`stop_tokens`	特定于模型的停止令牌。停止令牌必须出现在提供的标记生成器模型。	列表 [STRING]
`output_filename`	输出任务软件包文件的名称。	路径

将模型推送到设备

将 output_path 文件夹的内容推送到 Android 设备。

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.bin

创建任务

MediaPipe LLM Inference API 使用 createFromOptions() 函数来设置任务。createFromOptions() 函数接受配置的值选项。如需详细了解配置选项，请参阅配置选项选项。

以下代码使用基本配置选项初始化任务：

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPATH('/data/local/.../')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

配置选项

您可以使用以下配置选项设置 Android 应用：

选项名称	说明	值范围	默认值
`modelPath`	指向模型存储在项目目录中的路径。	路径	不适用
`maxTokens`	模型处理的词元（输入词元 + 输出词元）数量上限。	整数	512
`topK`	模型在生成过程的每个步骤中考虑的词元数量。将预测范围限制为前 k 个概率最高的词元。	整数	40
`temperature`	生成期间引入的随机性程度。较高温度可以使生成的文本更具创造性，而较低的温度会产生更具可预测性的生成。	浮点数	0.8
`randomSeed`	文本生成期间使用的随机种子。	整数	0
`loraPath`	设备本地本地 LoRA 模型的绝对路径。注意：这仅与 GPU 模型兼容。	路径	不适用
`resultListener`	设置结果监听器以异步接收结果。仅在使用异步生成方法时适用。	不适用	不适用
`errorListener`	设置一个可选的错误监听器。	不适用	不适用

准备数据

LLM Inference API 接受以下输入：

prompt（字符串）：问题或提示。

val inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."

运行任务

使用 generateResponse() 方法生成对输入的文本响应文本 (inputPrompt)。这会生成一个生成回答。

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

如需流式传输响应，请使用 generateResponseAsync() 方法。

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

处理和显示结果

LLM Inference API 会返回一个 LlmInferenceResult，其中包含生成的响应文本。

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

LoRA 模型自定义

可配置 Mediapipe LLM 推理 API 以支持低排名自适应 (LoRA) 大型语言模型。利用经过微调的 LoRA 模型，开发者可以通过经济有效的训练过程来自定义 LLM 的行为。

LLM Inference API 的 LoRA 支持适用于 Gemma-2B 和 Phi-2 模型， GPU 后端，LoRA 权重仅适用于注意力层。这个初始实现可用作未来开发中的实验性 API 计划在不久的将来推出更新。

准备 LoRA 模型

按照 HuggingFace 说明，使用你支持的模型类型（Gemma-2B 或 Phi-2）使用自己的数据集训练经过微调的 LoRA 模型。Gemma-2B 和 Phi-2 模型都可以以安全张量格式在 HuggingFace 上获得。由于 LLM Inference API 仅在注意力层上支持 LoRA，因此请在创建 LoraConfig 时仅指定注意力层，如下所示：

# For Gemma-2B
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

为了进行测试，HuggingFace 上提供了可公开访问且经过微调且适合 LLM Inference API 的 LoRA 模型。例如，monsterapi/gemma-2b-lora-maths-orca-200k 对应 Gemma-2B，lole25/phi-2-sft-ultrachat-lora 对应 Phi-2。

在准备好的数据集上进行训练并保存模型后，您将获得一个 adapter_model.safetensors 文件，其中包含经过微调的 LoRA 模型权重。Safetensors 文件是在模型转换中使用的 LoRA 检查点。

接下来，您需要使用 MediaPipe Python 软件包将模型权重转换为 TensorFlow Lite Flatbuffer。ConversionConfig 应指定基本模型选项以及其他 LoRA 选项。请注意，由于 API 仅支持使用 GPU 进行 LoRA 推理，因此后端必须设置为 'gpu'。

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

转换器会输出两个 TFLite Flatbuffer 文件，一个用于基础模型另一个用于 LoRA 模型。

LoRA 模型推断

Web、Android 和 iOS LLM Inference API 已更新，以支持 LoRA 模型推断。Web 支持动态 LoRA，它可以在运行时切换不同的 LoRA 模型。Android 和 iOS 支持静态 LoRA，它在任务的生命周期内使用相同的 LoRA 权重。

Android 在初始化期间支持静态 LoRA。为了加载 LoRA 模型，用户需要指定 LoRA 模型路径以及基础 LLM。

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

如需使用 LoRA 运行 LLM 推断，请使用与基本模型相同的 generateResponse() 或 generateResponseAsync() 方法。