Nhiệm vụ MediaPipe Text Embeddedder (Trình nhúng văn bản MediaPipe) cho phép bạn tạo bản trình bày dạng số của dữ liệu văn bản để nắm bắt được ý nghĩa ngữ nghĩa. Những hướng dẫn này chỉ cho bạn cách sử dụng Công cụ nhúng văn bản bằng Python.
Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.
Ví dụ về mã
Mã ví dụ cho Trình nhúng văn bản cung cấp cách triển khai hoàn chỉnh công việc bằng Python để bạn tham khảo. Mã này giúp bạn kiểm thử công việc này và bắt đầu xây dựng trình nhúng văn bản của riêng bạn. Bạn có thể xem, chạy và chỉnh sửa Ví dụ về Trình nhúng văn bản mã chỉ bằng trình duyệt web có Google Colab. Bạn có thể xem mã nguồn cho ví dụ này trên GitHub.
Thiết lập
Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án cụ thể để sử dụng Text Embeddedder (Trình nhúng văn bản). Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.
Gói
Công cụ nhúng văn bản sử dụng gói pip mediapipe. Bạn có thể cài đặt phần phụ thuộc này bằng các tính năng sau:
$ python -m pip install mediapipe
Nhập
Nhập các lớp sau để truy cập vào các hàm tác vụ của Trình nhúng văn bản:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import text
Mẫu
Nhiệm vụ MediaPipe Text Embeddedder (Trình nhúng văn bản MediaPipe) cần có một mô hình đã qua huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình nhúng văn bản, hãy xem tổng quan về nhiệm vụ phần Mô hình.
Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong một thư mục trên máy. Bạn có thể sử dụng được đề xuất UniversalSentenceEncoder mô hình.
model_path = '/absolute/path/to/universal_sentence_encoder.tflite'
Chỉ định đường dẫn của mô hình trong tham số model_asset_path, như minh hoạ dưới đây:
base_options = BaseOptions(model_asset_path=model_path)
Tạo việc cần làm
Tác vụ Trình nhúng văn bản MediaPipe sử dụng hàm create_from_options để thiết lập
công việc. Hàm create_from_options chấp nhận các giá trị cho cấu hình
để đặt tuỳ chọn nhúng. Bạn cũng có thể bắt đầu tác vụ bằng cách sử dụng
Hàm factory create_from_model_path. Hàm create_from_model_path
chấp nhận đường dẫn tương đối hoặc tuyệt đối đến tệp mô hình được huấn luyện. Để biết thêm
thông tin về các lựa chọn cấu hình, xem
Tuỳ chọn cấu hình.
Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.
import mediapipe as mp
BaseOptions = mp.tasks.BaseOptions
TextEmbedder = mp.tasks.text.TextEmbedder
TextEmbedderOptions = mp.tasks.text.TextEmbedderOptions
# For creating a text embedder instance:
options = TextEmbedderOptions(
base_options=BaseOptions(model_asset_path=model_path),
quantize=True)
text_embedder = TextEmbedder.create_from_options(options)
Các lựa chọn về cấu hình
Tác vụ này có các lựa chọn cấu hình sau cho các ứng dụng Python:
| Tên lựa chọn | Mô tả | Khoảng giá trị | Giá trị mặc định |
|---|---|---|---|
l2_normalize |
Liệu có chuẩn hoá vectơ đối tượng được trả về với chuẩn L2 hay không. Chỉ sử dụng tuỳ chọn này nếu mô hình không chứa đoạn mã gốc L2_NORMALIZATION TFLite Op. Trong hầu hết các trường hợp, điều này đã đúng và Do đó, quá trình chuẩn hoá L2 đạt được thông qua suy luận TFLite mà không cần cho tuỳ chọn này. | Boolean |
False |
quantize |
Liệu có cần lượng tử hoá mục nhúng trả về thành byte qua hay không lượng tử vô hướng. Các lượt nhúng được ngầm xem là quy chuẩn đơn vị và do đó mọi chiều đều được đảm bảo có giá trị trong [-1.0, 1.0]. Sử dụng tùy chọn l2_normalize nếu không phải vậy. | Boolean |
False |
Chuẩn bị dữ liệu
Công cụ nhúng văn bản hoạt động với dữ liệu văn bản (str). Tác vụ này sẽ xử lý việc nhập dữ liệu
xử lý trước, bao gồm cả mã hoá và xử lý trước tensor.
Mọi quy trình xử lý trước đều được xử lý trong hàm embed. Không cần
để xử lý trước thêm văn bản đầu vào.
input_text = "The input text to be embedded."
Chạy tác vụ
Trình nhúng văn bản sử dụng hàm embed để kích hoạt thông tin suy luận. Đối với văn bản
nhúng, tức là trả về các vectơ nhúng cho văn bản đầu vào.
Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.
# Perform text embedding on the provided input text.
embedding_result = text_embedder.embed(input_text)
Xử lý và hiện kết quả
Trình nhúng văn bản xuất ra TextEmbedderResult chứa danh sách
các mục nhúng (dấu phẩy động hoặc lượng tử hoá vô hướng) cho văn bản đầu vào.
Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:
TextEmbedderResult:
Embedding #0 (sole embedding head):
float_embedding: {0.2345f, 0.1234f, ..., 0.6789f}
head_index: 0
Bạn có thể so sánh điểm tương đồng về mặt về mặt ngữ nghĩa của 2 nhúng bằng cách sử dụng
Hàm TextEmbedder.cosine_similarity. Hãy xem mã sau đây để biết
ví dụ:
# Compute cosine similarity.
similarity = TextEmbedder.cosine_similarity(
embedding_result.embeddings[0],
other_embedding_result.embeddings[0])