Tìm hiểu thêm về thông báo tại hội nghị I/O của Google AI Edge

Trang này được dịch bởi Cloud Translation API.

Hướng dẫn dự đoán LLM dành cho Android

LLM Inference API hỗ trợ bạn chạy các mô hình ngôn ngữ lớn (LLM) hoàn toàn trên thiết bị cho các ứng dụng Android. Bạn có thể dùng các mô hình này để thực hiện nhiều thao tác, chẳng hạn như tạo văn bản, truy xuất thông tin ở dạng ngôn ngữ tự nhiên và tóm tắt tài liệu. Nhiệm vụ này cung cấp tính năng hỗ trợ tích hợp cho nhiều mô hình ngôn ngữ lớn chuyển văn bản thành văn bản. Nhờ đó, bạn có thể áp dụng các mô hình AI tạo sinh mới nhất trên thiết bị cho ứng dụng Android của mình.

Nhiệm vụ này hỗ trợ Gemma 2B, một phần của nhóm mô hình mở, hiện đại và gọn nhẹ, được xây dựng dựa trên cùng một nghiên cứu và công nghệ dùng để tạo mô hình Gemini. API này cũng hỗ trợ các mô hình bên ngoài sau đây: Phi-2, Falcon-RW-1B và StableLM-3B, cùng với tất cả các mô hình được xuất qua AI Edge.

Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Hướng dẫn này đề cập đến ví dụ về ứng dụng tạo văn bản cơ bản dành cho Android. Bạn có thể dùng ứng dụng này làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã mẫu được lưu trữ trên GitHub.

Tải mã xuống

Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

Sao chép kho lưu trữ git bằng lệnh sau:

git clone https://github.com/google-ai-edge/mediapipe-samples

Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng mẫu LLM Inference API:
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/llm_inference/android
```

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho dự án cụ thể để sử dụng API dự đoán LLM. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ MediaPipe, bao gồm cả yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

LLM Inference API sử dụng thư viện com.google.mediapipe:tasks-genai. Thêm phần phụ thuộc này vào tệp build.gradle của ứng dụng Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.14'
}

Mẫu

API Suy luận LLM của MediaPipe cần có một mô hình ngôn ngữ chuyển văn bản thành văn bản đã huấn luyện và tương thích với nhiệm vụ này. Sau khi tải một mô hình xuống, hãy cài đặt các phần phụ thuộc bắt buộc rồi đẩy mô hình đó sang thiết bị Android. Nếu đang sử dụng một mô hình không phải là Gemma, bạn sẽ phải chuyển đổi mô hình đó sang một định dạng tương thích với MediaPipe.

Để biết thêm thông tin về các mô hình được huấn luyện hiện có cho LLM Inference API, hãy xem phần Mô hình tổng quan về nhiệm vụ.

Tải mô hình xuống

Trước khi khởi chạy LLM Inference API, hãy tải một trong các mô hình được hỗ trợ xuống và lưu trữ tệp trong thư mục dự án của bạn:

Gemma 2B: Một phần của nhóm mô hình mở, hiện đại và gọn nhẹ, được xây dựng từ cùng một nghiên cứu và công nghệ dùng để tạo các mô hình Gemini. Phù hợp với nhiều tác vụ tạo văn bản, bao gồm trả lời câu hỏi, tóm tắt và lập lý.
Phi-2: Mô hình Transformer với 2, 7 tỷ tham số, phù hợp nhất với định dạng câu hỏi, cuộc trò chuyện và mã.
Falcon-RW-1B: 1 tỷ mô hình chỉ dành cho bộ giải mã nhân quả có tham số được huấn luyện trên 350 tỷ mã thông báo của RefinedWeb.
StableLM-3B: Mô hình ngôn ngữ chỉ dành cho bộ giải mã tham số 3 tỷ được huấn luyện trước trên 1 nghìn tỷ mã thông báo gồm các tập dữ liệu mã và tiếng Anh đa dạng.

Ngoài ra, bạn có thể sử dụng các mô hình được liên kết và xuất thông qua AI Edge Troch.

Bạn nên sử dụng Gemma 2B có sẵn trên Mô hình Kaggle và có định dạng đã tương thích với API suy luận LLM. Nếu sử dụng một LLM khác, bạn sẽ cần chuyển đổi mô hình sang một định dạng thân thiện với MediaPipe. Để biết thêm thông tin về Gemma 2B, vui lòng xem trang web của Gemma. Để biết thêm thông tin về các mô hình hiện có khác, hãy xem phần Mô hình tổng quan về tác vụ.

Chuyển đổi mô hình sang định dạng MediaPipe

Chuyển đổi mô hình gốc

Nếu bạn đang sử dụng một mô hình ngôn ngữ lớn (LLM) bên ngoài (Phi-2, Falcon hoặc StableLM) hoặc một phiên bản Gemma không phải của Kaggle, hãy sử dụng các tập lệnh chuyển đổi của chúng tôi để định dạng mô hình sao cho tương thích với MediaPipe.

Quá trình chuyển đổi mô hình cần có gói MediaPipe PyPI. Tập lệnh chuyển đổi có trong tất cả các gói MediaPipe sau 0.10.11.

Cài đặt và nhập các phần phụ thuộc bằng các thành phần sau:

$ python3 -m pip install mediapipe

Sử dụng thư viện genai.converter để chuyển đổi mô hình:

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Để chuyển đổi mô hình LoRA, ConversionConfig phải chỉ định các tuỳ chọn mô hình cơ sở cũng như các tuỳ chọn LoRA bổ sung. Xin lưu ý rằng vì API chỉ hỗ trợ suy luận LoRA bằng GPU, nên bạn phải đặt phần phụ trợ thành 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Bộ chuyển đổi sẽ xuất 2 tệp vùng đệm phẳng TFLite, một tệp cho mô hình cơ sở và tệp còn lại cho mô hình LoRA.

Thông số	Nội dung mô tả	Giá trị được chấp nhận
`input_ckpt`	Đường dẫn đến tệp `model.safetensors` hoặc `pytorch.bin`. Xin lưu ý rằng đôi khi định dạng an toàn của mô hình được phân đoạn thành nhiều tệp, ví dụ: `model-00001-of-00003.safetensors`, `model-00001-of-00003.safetensors`. Bạn có thể chỉ định một mẫu tệp, chẳng hạn như `model*.safetensors`.	PATH
`ckpt_format`	Định dạng tệp mô hình.	{"safetensors", "pytorch"}
`model_type`	LLM đang được chuyển đổi.	{"PHI_2", "FALCON_RW_1B", "STABLELM_4E1T_3B", "GEMMA_2B"}
`backend`	Bộ xử lý (uỷ quyền) dùng để chạy mô hình.	{"cpu", "gpu"}
`output_dir`	Đường dẫn đến thư mục đầu ra lưu trữ các tệp trọng số trên mỗi lớp.	PATH
`output_tflite_file`	Đường dẫn đến tệp đầu ra. Ví dụ: "model_cpu.bin" hoặc "model_gpu.bin". Tệp này chỉ tương thích với API suy luận LLM và không thể dùng làm tệp "tflite" chung.	PATH
`vocab_model_file`	Đường dẫn đến thư mục lưu trữ các tệp `tokenizer.json` và `tokenizer_config.json`. Đối với Gemma, hãy trỏ đến một tệp `tokenizer.model`.	PATH
`lora_ckpt`	Đường dẫn đến ckpt LoRA của tệp an toàn lưu trữ trọng số của bộ chuyển đổi LoRA.	PATH
`lora_rank`	Một số nguyên thể hiện thứ hạng của ckpt LoRA. Đây là trường bắt buộc để chuyển đổi các trọng số lora. Nếu giá trị này không được cung cấp, thì bộ chuyển đổi sẽ giả định không có trọng số LoRA. Lưu ý: Chỉ phần phụ trợ GPU mới hỗ trợ LoRA.	Số nguyên
`lora_output_tflite_file`	Xuất tên tệp tflite cho các trọng số LoRA.	PATH

Chuyển đổi mô hình AI Edge

Nếu bạn đang sử dụng một mô hình ngôn ngữ lớn (LLM) được liên kết với một mô hình TFLite thông qua AI Edge, hãy sử dụng tập lệnh gói của chúng tôi để tạo Task Bundle (Gói tác vụ). Quy trình gói gói mô hình đã liên kết với siêu dữ liệu bổ sung (ví dụ: Cần có Tham số mã hoá) để chạy dự đoán hai đầu.

Quá trình gói mô hình yêu cầu gói MediaPipe PyPI. Tập lệnh chuyển đổi có trong tất cả các gói MediaPipe sau 0.10.14.

Cài đặt và nhập các phần phụ thuộc bằng các thành phần sau:

$ python3 -m pip install mediapipe

Sử dụng thư viện genai.bundler để gói mô hình:

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

Thông số	Nội dung mô tả	Giá trị được chấp nhận
`tflite_model`	Đường dẫn đến mô hình TFLite đã xuất cho AI Edge.	PATH
`tokenizer_model`	Đường dẫn đến mô hình trình tạo mã thông báo của SentenceFragment.	PATH
`start_token`	Mã khởi động dành riêng cho mô hình. Mã bắt đầu phải có trong mô hình trình tạo mã thông báo đã cung cấp.	STRING
`stop_tokens`	Mã dừng cụ thể của mẫu. Mã dừng phải có trong mô hình trình tạo mã thông báo đã cung cấp.	DANH SÁCH[STRING]
`output_filename`	Tên của tệp gói tác vụ đầu ra.	PATH

Đẩy mẫu sang thiết bị

Đẩy nội dung của thư mục output_path sang thiết bị Android.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.bin

Tạo việc cần làm

MediaPipe LLM Inference API sử dụng hàm createFromOptions() để thiết lập tác vụ. Hàm createFromOptions() chấp nhận các giá trị cho các tuỳ chọn cấu hình. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Lựa chọn cấu hình.

Mã sau đây khởi chạy tác vụ bằng cách sử dụng các tuỳ chọn cấu hình cơ bản:

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPATH('/data/local/.../')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

Các lựa chọn về cấu hình

Sử dụng các lựa chọn cấu hình sau để thiết lập một ứng dụng Android:

Tên lựa chọn	Nội dung mô tả	Khoảng giá trị	Giá trị mặc định
`modelPath`	Đường dẫn đến nơi lưu trữ mô hình trong thư mục dự án.	PATH	Không áp dụng
`maxTokens`	Số lượng mã thông báo tối đa (mã thông báo đầu vào + mã thông báo đầu ra) mà mô hình xử lý.	Số nguyên	512
`topK`	Số lượng mã thông báo mà mô hình xem xét ở mỗi bước tạo. Giới hạn thông tin dự đoán cho k mã thông báo có nhiều khả năng xuất hiện nhất. Khi đặt `topK`, bạn cũng phải thiết lập giá trị cho `randomSeed`.	Số nguyên	40
`temperature`	Số lượng ngẫu nhiên được tạo ra trong quá trình tạo. Nhiệt độ càng cao thì văn bản càng sáng tạo, trong khi nhiệt độ càng thấp thì quá trình tạo văn bản càng dễ dự đoán. Khi đặt `temperature`, bạn cũng phải thiết lập giá trị cho `randomSeed`.	Số thực dấu phẩy động	0,8
`randomSeed`	Nội dung gốc ngẫu nhiên được dùng trong quá trình tạo văn bản.	Số nguyên	0
`loraPath`	Đường dẫn tuyệt đối đến mô hình LoRA trên thiết bị. Lưu ý: tính năng này chỉ tương thích với các mô hình GPU.	PATH	Không áp dụng
`resultListener`	Thiết lập trình nghe kết quả để nhận kết quả một cách không đồng bộ. Chỉ áp dụng khi sử dụng phương thức tạo không đồng bộ.	Không áp dụng	Không áp dụng
`errorListener`	Thiết lập một trình nghe lỗi (không bắt buộc).	Không áp dụng	Không áp dụng

Chuẩn bị dữ liệu

LLM Inference API chấp nhận các dữ liệu đầu vào sau:

prompt (chuỗi): Một câu hỏi hoặc lời nhắc.

val inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."

Chạy tác vụ

Sử dụng phương thức generateResponse() để tạo phản hồi bằng văn bản cho văn bản đầu vào đã cung cấp trong phần trước (inputPrompt). Phương thức này sẽ tạo ra một phản hồi được tạo.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

Để tạo câu trả lời theo thời gian thực, hãy sử dụng phương thức generateResponseAsync().

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

Xử lý và hiển thị kết quả

LLM Inference API trả về một LlmInferenceResult, bao gồm cả văn bản phản hồi được tạo.

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

Tuỳ chỉnh mô hình LoRA

Bạn có thể định cấu hình API suy luận LLM của Mediapipe để hỗ trợ Điều chỉnh mức độ thích ứng thấp (LoRA) cho các mô hình ngôn ngữ lớn. Bằng cách sử dụng các mô hình LoRA được tinh chỉnh, nhà phát triển có thể tuỳ chỉnh hành vi của các LLM thông qua một quy trình đào tạo tiết kiệm chi phí.

Tính năng hỗ trợ LoRA của LLM Inference API hoạt động trên các mô hình Gemma-2B và Phi-2 cho phần phụ trợ GPU, trong đó trọng số LoRA chỉ áp dụng cho các lớp chú ý. Phương thức triển khai ban đầu này đóng vai trò là API thử nghiệm cho các bản cập nhật trong tương lai, đồng thời lên kế hoạch hỗ trợ thêm nhiều mô hình và nhiều loại lớp trong bản cập nhật sắp tới.

Chuẩn bị mô hình LoRA

Làm theo hướng dẫn trên HuggingFace để huấn luyện một mô hình LoRA được tinh chỉnh tinh chỉnh trên tập dữ liệu của riêng bạn với các loại mô hình được hỗ trợ là Gemma-2B hoặc Phi-2. Các mô hình Gemma-2B và Phi-2 đều có trên HuggingFace ở định dạng SafeFrame. Vì LLM Inference API chỉ hỗ trợ LoRA trên các lớp chú ý, nên bạn chỉ cần chỉ định các lớp chú ý trong khi tạo LoraConfig như sau:

# For Gemma-2B
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

Để thử nghiệm, có các mô hình LoRA đã tinh chỉnh được tinh chỉnh công khai và phù hợp với LLM Inference API có trên HuggingFace. Ví dụ: monsterapi/gemma-2b-lora-maths-orca-200k đối với Gemma-2B và lole25/phi-2-sft-ultrachat-lora đối với Phi-2.

Sau khi huấn luyện tập dữ liệu đã chuẩn bị và lưu mô hình, bạn sẽ nhận được tệp adapter_model.safetensors chứa các trọng số đã tinh chỉnh của mô hình LoRA. Tệp SafeFrame là điểm kiểm tra LoRA được dùng trong quá trình chuyển đổi mô hình.

Bước tiếp theo, bạn cần chuyển đổi các trọng số của mô hình thành bộ đệm TensorFlow Lite Flat bằng cách sử dụng Gói Python MediaPipe. ConversionConfig phải chỉ định các tuỳ chọn mô hình cơ sở cũng như các tuỳ chọn LoRA bổ sung. Xin lưu ý rằng vì API chỉ hỗ trợ suy luận LoRA bằng GPU, nên bạn phải thiết lập phần phụ trợ thành 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Bộ chuyển đổi sẽ xuất 2 tệp vùng đệm phẳng TFLite, một tệp cho mô hình cơ sở và tệp còn lại cho mô hình LoRA.

Suy luận mô hình LoRA

API dự đoán LLM của web, Android và iOS được cập nhật để hỗ trợ dự đoán mô hình LoRA. Web hỗ trợ LoRA động, có thể chuyển đổi các mô hình LoRA khác nhau trong thời gian chạy. Android và iOS hỗ trợ LoRA tĩnh. LoRA này sử dụng cùng một trọng số LoRA trong suốt thời gian thực hiện nhiệm vụ.

Android hỗ trợ LoRA tĩnh trong quá trình khởi chạy. Để tải một mô hình LoRA, người dùng sẽ chỉ định đường dẫn mô hình LoRA cũng như mô hình ngôn ngữ lớn cơ sở.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

Để chạy dự đoán LLM bằng LoRA, hãy sử dụng cùng một phương thức generateResponse() hoặc generateResponseAsync() làm mô hình cơ sở.