Hướng dẫn dự đoán LLM dành cho Android

API suy luận LLM (LLM) cho phép bạn chạy các mô hình ngôn ngữ lớn (LLM) hoàn toàn trên thiết bị cho các ứng dụng Android mà bạn có thể dùng để thực hiện nhiều tác vụ, chẳng hạn như tạo văn bản, truy xuất thông tin ở dạng ngôn ngữ tự nhiên và tóm tắt tài liệu. Nhiệm vụ này cung cấp tính năng hỗ trợ tích hợp cho nhiều các mô hình ngôn ngữ lớn từ văn bản sang văn bản, nên bạn có thể áp dụng các mô hình ngôn ngữ mới nhất trên thiết bị các mô hình AI tạo sinh cho ứng dụng Android.

Nhiệm vụ sẽ hỗ trợ Gemma 2B, một phần của dòng mô hình mở, nhẹ nhàng, tiên tiến được xây dựng dựa trên cùng một nghiên cứu và công nghệ dùng để tạo ra các mô hình Gemini. API này cũng hỗ trợ các mô hình bên ngoài sau đây: Phi-2, Falcon-RW-1B và Ổn địnhLM-3B, cùng với tất cả mô hình được xuất qua AI Edge.

Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Hướng dẫn này đề cập đến ví dụ về một ứng dụng tạo văn bản cơ bản cho Android. Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng bạn hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn có chỉ các tệp cho ứng dụng ví dụ cho LLM suy luận API:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/llm_inference/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập cho Android.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và các dự án lập trình dành riêng để sử dụng LLM suy luận API. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

API suy luận LLM sử dụng thư viện com.google.mediapipe:tasks-genai. Thêm nội dung này phần phụ thuộc vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.14'
}

Mẫu

API suy luận LLM MediaPipe yêu cầu một mô hình ngôn ngữ chuyển văn bản thành văn bản đã được huấn luyện tương thích với nhiệm vụ này. Sau khi tải một mô hình xuống, hãy cài đặt các phần phụ thuộc và đẩy mô hình đó vào thiết bị Android. Nếu bạn đang sử dụng một mô hình ngoại trừ Gemma, bạn sẽ phải chuyển đổi mô hình sang định dạng tương thích với MediaPipe.

Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho API suy luận LLM, hãy xem nhiệm vụ phần Mô hình tổng quan.

Tải mô hình xuống

Trước khi khởi chạy API suy luận LLM, hãy tải một trong các mô hình được hỗ trợ xuống và lưu trữ tệp trong thư mục dự án của bạn:

• Gemma 2B: Thuộc một gia đình gồm các mô hình mở gọn nhẹ, tiên tiến được xây dựng từ chính là nghiên cứu và công nghệ dùng để tạo Các mô hình Gemini. Phù hợp với nhiều loại tác vụ tạo văn bản bao gồm trả lời câu hỏi, tóm tắt và lập luận.
• Phi-2: tham số 2,7 tỷ Mô hình máy biến áp, phù hợp nhất cho câu hỏi-Trả lời, trò chuyện và mã lập trình .
• Falcon-RW-1B: 1 tỷ tham số chỉ dành cho bộ giải mã nhân quả được huấn luyện trên 350 tỷ mã thông báo của RefinedWeb.
• Ổn địnhLM-3B: 3 tỷ mô hình ngôn ngữ chỉ dùng bộ giải mã tham số được huấn luyện trước trên 1 nghìn tỷ mã thông báo của nhiều tập dữ liệu tiếng Anh và mã nguồn.

Ngoài ra, bạn có thể sử dụng các mô hình được ánh xạ và xuất thông qua AI Edge Troch.

Bạn nên sử dụng Gemma 2B có trên Kaggle Mẫu sản phẩm và phiên bản ở định dạng tương thích với API suy luận LLM. Nếu bạn sử dụng một LLM khác, bạn sẽ cần chuyển đổi mô hình thành Định dạng phù hợp với MediaPipe. Để biết thêm thông tin về Gemma 2B, hãy xem bài viết Gemma . Để biết thêm thông tin về các mô hình hiện có, hãy xem phần Mô hình tổng quan về nhiệm vụ.

Chuyển đổi mô hình sang định dạng MediaPipe

Chuyển đổi mô hình gốc

Trường hợp bạn đang sử dụng một mô hình ngôn ngữ lớn (LLM) bên ngoài (Phi-2, Falcon hoặc StableLM) hoặc một mô hình không phải Kaggle phiên bản Gemma, sử dụng tập lệnh chuyển đổi của chúng tôi để định dạng mô hình tương thích với MediaPipe.

Quá trình chuyển đổi mô hình yêu cầu có gói MediaPipe PyPI. Lượt chuyển đổi tập lệnh sẽ có trong tất cả các gói MediaPipe sau 0.10.11.

Cài đặt và nhập các phần phụ thuộc bằng cách làm như sau:

$ python3 -m pip install mediapipe

Sử dụng thư viện genai.converter để chuyển đổi mô hình:

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Để chuyển đổi mô hình LoRA, ConversionConfig phải chỉ định mô hình cơ sở cũng như các tuỳ chọn LoRA bổ sung. Lưu ý rằng vì API chỉ hỗ trợ suy luận LoRA với GPU, phần phụ trợ phải được thiết lập thành 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Bộ chuyển đổi này sẽ xuất 2 tệp bộ đệm phẳng TFLite, một tệp cho mô hình cơ sở và quy tắc còn lại dành cho mô hình LoRA.

Chuyển đổi mô hình AI Edge

Nếu bạn đang sử dụng một LLM được ánh xạ tới một mô hình TFLite thông qua AI Edge, hãy sử dụng nhóm tập lệnh để tạo Task Bundle. Quá trình gói gói mô hình được liên kết với siêu dữ liệu bổ sung (ví dụ: Cần có thông số của bộ mã hoá để chạy suy luận từ đầu đến cuối.

Quy trình gói mô hình cần có gói MediaPipe PyPI. Lượt chuyển đổi tập lệnh sẽ có trong tất cả các gói MediaPipe sau 0.10.14.

Cài đặt và nhập các phần phụ thuộc bằng cách làm như sau:

$ python3 -m pip install mediapipe

Sử dụng thư viện genai.bundler để gói mô hình:

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

Đẩy mô hình vào thiết bị

Đẩy nội dung của thư mục output_path sang Android thiết bị.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.bin

Tạo việc cần làm

API suy luận LLM MediaPipe sử dụng hàm createFromOptions() để thiết lập công việc. Hàm createFromOptions() chấp nhận các giá trị cho cấu hình . Để biết thêm thông tin về các chế độ cấu hình, hãy xem phần Cấu hình .

Đoạn mã sau đây khởi chạy tác vụ bằng cách sử dụng các tuỳ chọn cấu hình cơ bản:

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPATH('/data/local/.../')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

Các lựa chọn về cấu hình

Sử dụng các lựa chọn cấu hình sau để thiết lập một ứng dụng Android:

Chuẩn bị dữ liệu

API suy luận LLM chấp nhận các dữ liệu đầu vào sau:

• prompt (chuỗi): Một câu hỏi hoặc câu lệnh.

val inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."

Chạy tác vụ

Sử dụng phương thức generateResponse() để tạo phản hồi bằng văn bản cho nội dung nhập văn bản được cung cấp trong phần trước (inputPrompt). Điều này tạo ra một tạo phản hồi.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

Để truyền trực tuyến phản hồi, hãy sử dụng phương thức generateResponseAsync().

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

Xử lý và hiện kết quả

API suy luận LLM trả về một LlmInferenceResult, bao gồm cả dữ liệu đã tạo nội dung phản hồi.

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

Tuỳ chỉnh mô hình LoRA

API dự đoán LLM Mediapipe có thể được định cấu hình để hỗ trợ Điều chỉnh thứ hạng thấp (LoRA) cho các mô hình ngôn ngữ lớn. Bằng cách sử dụng mô hình LoRA được tinh chỉnh, nhà phát triển có thể tuỳ chỉnh hành vi của các mô hình ngôn ngữ lớn thông qua một quy trình đào tạo tiết kiệm chi phí.

Tính năng hỗ trợ LoRA của API suy luận LLM hoạt động cho các mô hình Gemma-2B và Phi-2 cho phần phụ trợ GPU, trong đó trọng số LoRA chỉ áp dụng cho các lớp chú ý. Chiến dịch này triển khai ban đầu đóng vai trò là API thử nghiệm cho các phát triển trong tương lai với kế hoạch hỗ trợ thêm nhiều mô hình và nhiều loại lớp trong thời gian tới bản cập nhật.

Chuẩn bị mô hình LoRA

Làm theo hướng dẫn trên HuggingFace để huấn luyện một mô hình LoRA được tinh chỉnh trên tập dữ liệu của riêng bạn với các loại mô hình được hỗ trợ, Gemma-2B hoặc Phi-2. Các mô hình Gemma-2B và Phi-2 đều có sẵn trên HugingFace ở định dạng safetytensors. Vì LLM suy luận chỉ hỗ trợ LoRA trên các lớp chú ý, nên bạn chỉ cần chỉ định các lớp chú ý khi tạo LoraConfig như sau:

# For Gemma-2B
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

Để thử nghiệm, có các mô hình LoRA được tinh chỉnh và có thể truy cập công khai phù hợp với API suy luận LLM (mô hình ngôn ngữ lớn) có trên HuggingFace. Ví dụ: monsterapi/gemma-2b-lora-maths-orca-200k cho Gemma-2B và lole25/phi-2-sft-ultrachat-lora cho Phi-2.

Sau khi huấn luyện trên tập dữ liệu đã chuẩn bị và lưu mô hình, bạn sẽ nhận được tệp adapter_model.safetensors chứa trọng số của mô hình LoRA đã được tinh chỉnh. Tệp safetytensors là điểm kiểm tra LoRA được dùng trong quá trình chuyển đổi mô hình.

Bước tiếp theo, bạn cần chuyển đổi trọng số mô hình thành Bộ đệm phẳng TensorFlow Lite bằng Gói Python MediaPipe. ConversionConfig phải chỉ định các tuỳ chọn mô hình cơ sở cũng như các tuỳ chọn LoRA bổ sung. Lưu ý rằng vì API chỉ hỗ trợ suy luận LoRA với GPU, nên bạn phải thiết lập phần phụ trợ thành 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Bộ chuyển đổi này sẽ xuất 2 tệp bộ đệm phẳng TFLite, một tệp cho mô hình cơ sở và quy tắc còn lại dành cho mô hình LoRA.

Suy luận mô hình LoRA

API suy luận LLM cho web, Android và iOS được cập nhật để hỗ trợ suy luận mô hình LoRA. Web hỗ trợ LoRA động, có thể chuyển đổi nhiều mô hình LoRA trong thời gian chạy. Android và iOS hỗ trợ LoRA tĩnh, sử dụng cùng các trọng số LoRA trong suốt thời gian thực hiện nhiệm vụ.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

Để chạy dự đoán LLM bằng LoRA, hãy sử dụng cùng các phương thức generateResponse() hoặc generateResponseAsync() làm mô hình cơ sở.