Xin giới thiệu LiteRT: Môi trường thời gian chạy hiệu suất cao của Google dành cho AI trên thiết bị, trước đây là TensorFlow Lite.

Trang này được dịch bởi Cloud Translation API.

Hướng dẫn suy luận LLM dành cho Web

API suy luận LLM cho phép bạn chạy các mô hình ngôn ngữ lớn (LLM) hoàn toàn trên trình duyệt cho các ứng dụng web. Bạn có thể sử dụng API này để thực hiện nhiều tác vụ, chẳng hạn như tạo văn bản, truy xuất thông tin ở dạng ngôn ngữ tự nhiên và tóm tắt tài liệu. Tác vụ này cung cấp tính năng hỗ trợ tích hợp cho nhiều mô hình ngôn ngữ lớn từ văn bản sang văn bản, nhờ đó, bạn có thể áp dụng các mô hình AI tạo sinh mới nhất trên thiết bị cho ứng dụng web của mình.

Tác vụ này hỗ trợ các biến thể sau của Gemma: Gemma-2 2B, Gemma 2B và Gemma 7B. Gemma là một gia đình gồm các mô hình mở, hiện đại và gọn nhẹ được xây dựng từ cùng một nghiên cứu và công nghệ dùng để tạo ra các mô hình Gemini. Công cụ này cũng hỗ trợ các mô hình bên ngoài sau: Phi-2, Falcon-RW-1B và StableLM-3B.

Bạn có thể xem cách thực hiện nhiệm vụ này thông qua màn hình minh hoạ MediaPipe Studio. Để biết thêm thông tin về các tính năng, mô hình và tuỳ chọn cấu hình của tác vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Ứng dụng mẫu cho API suy luận LLM cung cấp cách triển khai cơ bản của tác vụ này trong JavaScript để bạn tham khảo. Bạn có thể sử dụng ứng dụng mẫu này để bắt đầu tạo ứng dụng tạo văn bản của riêng mình.

Bạn có thể truy cập vào ứng dụng mẫu của API suy luận LLM trên GitHub.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và dự án mã dành riêng cho việc sử dụng API suy luận LLM. Để biết thông tin chung về cách thiết lập môi trường phát triển cho việc sử dụng Tác vụ MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Web.

Khả năng tương thích với trình duyệt

API suy luận LLM yêu cầu một trình duyệt web có khả năng tương thích với WebGPU. Để xem danh sách đầy đủ các trình duyệt tương thích, hãy xem phần Khả năng tương thích của trình duyệt GPU.

Gói JavaScript

Bạn có thể sử dụng mã API suy luận LLM thông qua gói @mediapipe/tasks-genai. Bạn có thể tìm và tải các thư viện này xuống qua các đường liên kết được cung cấp trong Hướng dẫn thiết lập của nền tảng.

Cài đặt các gói bắt buộc để tạo bản dựng cục bộ:

npm install @mediapipe/tasks-genai

Để triển khai cho máy chủ, hãy sử dụng dịch vụ mạng phân phối nội dung (CDN) như jsDelivr để thêm mã trực tiếp vào trang HTML:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai/genai_bundle.cjs"
    crossorigin="anonymous"></script>
</head>

Mẫu

API suy luận LLM của MediaPipe yêu cầu một mô hình đã được huấn luyện tương thích với tác vụ này. Đối với ứng dụng web, mô hình phải tương thích với GPU.

Để biết thêm thông tin về các mô hình đã huấn luyện có sẵn cho API suy luận LLM, hãy xem phần Mô hình trong phần tổng quan về tác vụ.

Tải mô hình xuống

Trước khi khởi chạy API suy luận LLM, hãy tải một trong các mô hình được hỗ trợ xuống và lưu trữ tệp đó trong thư mục dự án:

Gemma-2 2B: Phiên bản mới nhất của dòng mô hình Gemma. Một phần của một nhóm mô hình mở, hiện đại và gọn nhẹ được xây dựng từ cùng một nghiên cứu và công nghệ dùng để tạo mô hình Gemini.
Gemma 2B: Một phần của gia đình các mô hình mở, hiện đại và gọn nhẹ được xây dựng từ cùng một nghiên cứu và công nghệ dùng để tạo các mô hình Gemini. Phù hợp với nhiều nhiệm vụ tạo văn bản, bao gồm cả trả lời câu hỏi, tóm tắt và suy luận.
Phi-2: Mô hình Transformer có 2, 7 tỷ tham số, phù hợp nhất với định dạng Câu hỏi-Trả lời, trò chuyện và mã.
Falcon-RW-1B: Mô hình chỉ giải mã nhân quả có 1 tỷ tham số được huấn luyện trên 350 tỷ mã thông báo của RefinedWeb.
StableLM-3B: Mô hình ngôn ngữ chỉ có bộ giải mã thông số 3 tỷ được huấn luyện trước trên 1 nghìn tỷ mã thông báo của nhiều tập dữ liệu tiếng Anh và mã.

Ngoài các mô hình được hỗ trợ, bạn có thể sử dụng AI Edge Torch của Google để xuất mô hình PyTorch sang mô hình LiteRT (tflite) nhiều chữ ký. Để biết thêm thông tin, hãy xem phần Trình chuyển đổi tạo sinh Torch cho các mô hình PyTorch.

Bạn nên sử dụng Gemma-2 2B có trên Kaggle Models. Để biết thêm thông tin về các mô hình khác hiện có, hãy xem phần Mô hình trong phần tổng quan về tác vụ.

Chuyển đổi mô hình sang định dạng MediaPipe

API suy luận LLM tương thích với hai loại mô hình, một số mô hình trong đó yêu cầu chuyển đổi mô hình. Sử dụng bảng để xác định phương thức bước bắt buộc cho mô hình của bạn.

	Mô hình	Phương thức chuyển đổi	Nền tảng tương thích	Loại tệp
Các mẫu được hỗ trợ	Gemma 2B, Gemma 7B, Gemma-2 2B, Phi-2, StableLM, Falcon	MediaPipe	Android, iOS, web	.bin
Các mô hình PyTorch khác	Tất cả mô hình LLM PyTorch	Thư viện AI Edge Torch Generative	Android, iOS	.task

Chúng tôi đang lưu trữ các tệp .bin đã chuyển đổi cho Gemma 2B, Gemma 7B và Gemma-2 2B trên Kaggle. Bạn có thể triển khai trực tiếp các mô hình này bằng API suy luận LLM. Để tìm hiểu cách chuyển đổi các mô hình khác, hãy xem phần Chuyển đổi mô hình.

Thêm mô hình vào thư mục dự án

Lưu trữ mô hình trong thư mục dự án:

<dev-project-root>/assets/gemma-2b-it-gpu-int4.bin

Chỉ định đường dẫn của mô hình bằng tham số modelAssetPath của đối tượng baseOptions:

baseOptions: { modelAssetPath: `/assets/gemma-2b-it-gpu-int4.bin`}

Tạo việc cần làm

Sử dụng một trong các hàm createFrom...() của API suy luận LLM để chuẩn bị tác vụ cho việc chạy suy luận. Bạn có thể sử dụng hàm createFromModelPath() với đường dẫn tương đối hoặc tuyệt đối đến tệp mô hình đã huấn luyện. Ví dụ về mã sử dụng hàm createFromOptions(). Để biết thêm thông tin về các tuỳ chọn cấu hình có sẵn, hãy xem phần Tuỳ chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này:

const genai = await FilesetResolver.forGenAiTasks(
    // path/to/wasm/root
    "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai@latest/wasm"
);
llmInference = await LlmInference.createFromOptions(genai, {
    baseOptions: {
        modelAssetPath: '/assets/gemma-2b-it-gpu-int4.bin'
    },
    maxTokens: 1000,
    topK: 40,
    temperature: 0.8,
    randomSeed: 101
});

Các lựa chọn về cấu hình

Tác vụ này có các tuỳ chọn cấu hình sau đây cho ứng dụng Web và JavaScript:

Tên tuỳ chọn	Mô tả	Phạm vi giá trị	Giá trị mặc định
`modelPath`	Đường dẫn đến nơi lưu trữ mô hình trong thư mục dự án.	ĐƯỜNG DẪN	Không áp dụng
`maxTokens`	Số lượng mã thông báo tối đa (mã thông báo đầu vào + mã thông báo đầu ra) mà mô hình xử lý.	Số nguyên	512
`topK`	Số lượng mã thông báo mà mô hình xem xét ở mỗi bước tạo. Giới hạn các dự đoán ở k mã thông báo có nhiều khả năng nhất.	Số nguyên	40
`temperature`	Mức độ ngẫu nhiên được đưa vào trong quá trình tạo. Nhiệt độ cao hơn sẽ tạo ra văn bản sáng tạo hơn, trong khi nhiệt độ thấp hơn sẽ tạo ra văn bản dễ dự đoán hơn.	Số thực dấu phẩy động	0,8
`randomSeed`	Giá trị khởi tạo ngẫu nhiên được dùng trong quá trình tạo văn bản.	Số nguyên	0
`loraRanks`	Các thứ hạng LoRA sẽ được các mô hình LoRA sử dụng trong thời gian chạy. Lưu ý: tính năng này chỉ tương thích với các mô hình GPU.	Mảng số nguyên	Không áp dụng

Chuẩn bị dữ liệu

API suy luận LLM chấp nhận dữ liệu văn bản (string). Tác vụ này xử lý quá trình xử lý trước đầu vào dữ liệu, bao gồm cả việc tạo mã thông báo và xử lý trước tensor.

Tất cả hoạt động xử lý trước đều được xử lý trong hàm generateResponse(). Bạn không cần phải xử lý trước thêm văn bản đầu vào.

const inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday.";

Chạy tác vụ

API suy luận LLM sử dụng hàm generateResponse() để kích hoạt suy luận. Đối với việc phân loại văn bản, điều này có nghĩa là trả về các danh mục có thể có cho văn bản đầu vào.

Đoạn mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

const response = await llmInference.generateResponse(inputPrompt);
document.getElementById('output').textContent = response;

Để truyền trực tuyến phản hồi, hãy sử dụng nội dung sau:

llmInference.generateResponse(
  inputPrompt,
  (partialResult, done) => {
        document.getElementById('output').textContent += partialResult;
});

Xử lý và hiển thị kết quả

API suy luận LLM trả về một chuỗi, trong đó có văn bản phản hồi được tạo.

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

Tuỳ chỉnh mô hình LoRA

Bạn có thể định cấu hình API suy luận LLM của Mediapipe để hỗ trợ tính năng Điều chỉnh theo thứ hạng thấp (LoRA) cho các mô hình ngôn ngữ lớn. Bằng cách sử dụng các mô hình LoRA được tinh chỉnh, nhà phát triển có thể tuỳ chỉnh hành vi của LLM thông qua một quy trình huấn luyện tiết kiệm chi phí.

Tính năng hỗ trợ LoRA của API suy luận LLM hoạt động cho tất cả các biến thể Gemma và mô hình Phi-2 cho phần phụ trợ GPU, với trọng số LoRA chỉ áp dụng cho các lớp chú ý. Phương thức triển khai ban đầu này đóng vai trò là một API thử nghiệm cho các hoạt động phát triển trong tương lai, với kế hoạch hỗ trợ nhiều mô hình và nhiều loại lớp hơn trong các bản cập nhật sắp tới.

Chuẩn bị mô hình LoRA

Làm theo hướng dẫn trên HuggingFace để huấn luyện mô hình LoRA được tinh chỉnh trên tập dữ liệu của riêng bạn bằng các loại mô hình được hỗ trợ, Gemma hoặc Phi-2. Các mô hình Gemma-2 2B, Gemma 2B và Phi-2 đều có trên HuggingFace ở định dạng safetensors. Vì API suy luận LLM chỉ hỗ trợ LoRA trên các lớp chú ý, nên chỉ chỉ định các lớp chú ý trong khi tạo LoraConfig như sau:

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

Để thử nghiệm, có các mô hình LoRA được tinh chỉnh công khai phù hợp với API suy luận LLM có trên HuggingFace. Ví dụ: monsterapi/gemma-2b-lora-maths-orca-200k cho Gemma-2B và lole25/phi-2-sft-ultrachat-lora cho Phi-2.

Sau khi huấn luyện trên tập dữ liệu đã chuẩn bị và lưu mô hình, bạn sẽ nhận được một tệp adapter_model.safetensors chứa các trọng số mô hình LoRA được tinh chỉnh. Tệp safetensors là điểm kiểm tra LoRA được dùng trong quá trình chuyển đổi mô hình.

Ở bước tiếp theo, bạn cần chuyển đổi trọng số mô hình thành Flatbuffer của TensorFlow Lite bằng Gói Python MediaPipe. ConversionConfig phải chỉ định các tuỳ chọn mô hình cơ sở cũng như các tuỳ chọn LoRA bổ sung. Xin lưu ý rằng vì API chỉ hỗ trợ suy luận LoRA bằng GPU, nên bạn phải đặt phần phụ trợ thành 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

Trình chuyển đổi sẽ xuất ra hai tệp flatbuffer TFLite, một tệp cho mô hình cơ sở và tệp còn lại cho mô hình LoRA.

Suy luận mô hình LoRA

API suy luận LLM cho Web, Android và iOS được cập nhật để hỗ trợ suy luận mô hình LoRA.

Web hỗ trợ LoRA động trong thời gian chạy. Tức là người dùng khai báo các thứ hạng LoRA sẽ được sử dụng trong quá trình khởi chạy và có thể hoán đổi các mô hình LoRA khác nhau trong thời gian chạy.

const genai = await FilesetResolver.forGenAiTasks(
    // path/to/wasm/root
    "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai@latest/wasm"
);
const llmInference = await LlmInference.createFromOptions(genai, {
    // options for the base model
    ...
    // LoRA ranks to be used by the LoRA models during runtime
    loraRanks: [4, 8, 16]
});

Trong thời gian chạy, sau khi mô hình cơ sở được khởi chạy, hãy tải các mô hình LoRA sẽ được sử dụng. Ngoài ra, hãy kích hoạt mô hình LoRA bằng cách truyền tham chiếu mô hình LoRA trong khi tạo phản hồi LLM.

// Load several LoRA models. The returned LoRA model reference is used to specify
// which LoRA model to be used for inference.
loraModelRank4 = await llmInference.loadLoraModel(loraModelRank4Url);
loraModelRank8 = await llmInference.loadLoraModel(loraModelRank8Url);

// Specify LoRA model to be used during inference
llmInference.generateResponse(
  inputPrompt,
  loraModelRank4,
  (partialResult, done) => {
        document.getElementById('output').textContent += partialResult;
});