Nhiệm vụ MediaPipe Text Embeddedder (Trình nhúng văn bản MediaPipe) cho phép bạn tạo bản trình bày dạng số của dữ liệu văn bản để nắm bắt được ý nghĩa ngữ nghĩa. Những hướng dẫn này chỉ cho bạn cách sử dụng Trình nhúng văn bản dành cho ứng dụng web và JavaScript.
Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.
Ví dụ về mã
Mã ví dụ cho Trình nhúng văn bản cung cấp cách triển khai hoàn chỉnh trong JavaScript để bạn tham khảo. Mã này giúp bạn kiểm thử tác vụ này và bắt đầu xây dựng ứng dụng nhúng văn bản của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa Mã ví dụ cho Trình nhúng văn bản chỉ bằng trình duyệt web.
Thiết lập
Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án cụ thể để sử dụng Text Embeddedder (Trình nhúng văn bản). Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Web.
Gói JavaScript
Mã Trình nhúng văn bản có sẵn thông qua
@mediapipe/tasks-text
. Bạn có thể tìm và tải các thư viện này xuống từ các liên kết được cung cấp trong
nền tảng
Hướng dẫn thiết lập.
Bạn có thể cài đặt các gói cần thiết bằng mã sau để thử nghiệm cục bộ bằng lệnh sau:
npm install @mediapipe/tasks-text
Nếu muốn triển khai tới một máy chủ, bạn có thể sử dụng tính năng phân phối nội dung dịch vụ mạng (CDN), chẳng hạn như jsDelivr, sang thêm mã trực tiếp vào trang HTML của bạn như sau:
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text@latest/index.js"
crossorigin="anonymous"></script>
</head>
Mẫu
Nhiệm vụ MediaPipe Text Embeddedder (Trình nhúng văn bản MediaPipe) cần có một mô hình đã qua huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình nhúng văn bản, hãy xem tổng quan về nhiệm vụ phần Mô hình.
Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:
<dev-project-root>/app/shared/models
Tạo việc cần làm
Dùng một trong các hàm createFrom...() của Trình nhúng văn bản để
chuẩn bị tác vụ để chạy các dự đoán. Bạn có thể dùng createFromModelPath()
có đường dẫn tương đối hoặc tuyệt đối đến tệp mô hình đã huấn luyện. Đoạn mã
ví dụ bên dưới minh hoạ cách sử dụng createFromOptions()
. Để biết thêm thông tin về các lựa chọn cấu hình hiện có, hãy xem
Tuỳ chọn cấu hình.
Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này:
async function createEmbedder() {
const textFiles = await FilesetResolver.forTextTasks("https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text@latest/wasm/");
textEmbedder = await TextEmbedder.createFromOptions(
textFiles,
{
baseOptions: {
modelAssetPath: `https://storage.googleapis.com/mediapipe-tasks/text_embedder/universal_sentence_encoder.tflite`
},
quantize: true
}
);
}
createEmbedder();
Các lựa chọn về cấu hình
Tác vụ này có các lựa chọn cấu hình sau cho Web và JavaScript ứng dụng:
| Tên lựa chọn | Mô tả | Khoảng giá trị | Giá trị mặc định |
|---|---|---|---|
l2Normalize |
Liệu có chuẩn hoá vectơ đối tượng được trả về với chuẩn L2 hay không. Chỉ sử dụng tuỳ chọn này nếu mô hình không chứa đoạn mã gốc L2_NORMALIZATION TFLite Op. Trong hầu hết các trường hợp, điều này đã đúng và Do đó, quá trình chuẩn hoá L2 đạt được thông qua suy luận TFLite mà không cần cho tuỳ chọn này. | Boolean |
False |
quantize |
Liệu có cần lượng tử hoá mục nhúng trả về thành byte qua hay không lượng tử vô hướng. Các lượt nhúng được ngầm xem là quy chuẩn đơn vị và do đó mọi chiều đều được đảm bảo có giá trị trong [-1.0, 1.0]. Sử dụng tuỳ chọn l2 chuẩn hoá nếu không phải như vậy. | Boolean |
False |
Chuẩn bị dữ liệu
Công cụ nhúng văn bản hoạt động với dữ liệu văn bản (string). Tác vụ sẽ xử lý
xử lý trước dữ liệu đầu vào, bao gồm cả mã hoá và xử lý trước tensor. Tất cả
xử lý trước được xử lý trong hàm embed. Không cần
để xử lý trước thêm văn bản đầu vào.
const inputText = "The input text to be embedded.";
Chạy tác vụ
Trình nhúng văn bản sử dụng hàm embed để kích hoạt thông tin suy luận. Đối với văn bản
nhúng, tức là trả về các vectơ nhúng cho văn bản đầu vào.
Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.
// Wait to run the function until inner text is set
const embeddingResult = textEmbedder.embed(
inputText
);
Xử lý và hiện kết quả
Trình nhúng văn bản xuất ra TextEmbedderResult chứa danh sách
các mục nhúng (dấu phẩy động hoặc lượng tử hoá vô hướng) cho văn bản đầu vào.
Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:
TextEmbedderResult:
Embedding #0 (sole embedding head):
float_embedding: {0.2345f, 0.1234f, ..., 0.6789f}
head_index: 0
Bạn có thể so sánh điểm tương đồng về mặt về mặt ngữ nghĩa của 2 nhúng bằng cách sử dụng
Hàm TextEmbedder.cosineSimilarity. Hãy xem mã sau đây để biết
ví dụ:
// Compute cosine similarity.
const similarity = TextEmbedder.cosineSimilarity(
embeddingResult.embeddings[0],
otherEmbeddingResult.embeddings[0]);
Mã ví dụ về Trình nhúng văn bản minh hoạ cách hiển thị trình nhúng kết quả được trả về từ tác vụ, hãy xem mã ví dụ để biết thông tin chi tiết.