Hướng dẫn nhúng văn bản dành cho Android

Nhiệm vụ MediaPipe Text Embeddedder (Trình nhúng văn bản MediaPipe) cho phép bạn tạo bản trình bày dạng số của dữ liệu văn bản để nắm bắt được ý nghĩa ngữ nghĩa. Những hướng dẫn này chỉ cho bạn cách sử dụng Công cụ nhúng văn bản với ứng dụng Android.

Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ MediaPipe Tasks là cách triển khai đơn giản cho Trình nhúng văn bản dành cho Android. Ví dụ này đánh giá sự tương đồng về mặt ngữ nghĩa giữa hai và yêu cầu một thiết bị Android thực hoặc một thiết bị Android trình mô phỏng.

Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ về Trình nhúng văn bản được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn có chỉ các tệp cho ứng dụng ví dụ về Trình nhúng văn bản:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/text_embedder/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập cho Android.

Thành phần chính

Các tệp sau chứa mã quan trọng cho ví dụ về trình nhúng văn bản này ứng dụng:

• TextEmbedderHelper.kt: Khởi chạy trình nhúng văn bản, đồng thời xử lý mô hình và lựa chọn uỷ quyền.
• MainActivity.kt: Triển khai ứng dụng và tập hợp các thành phần giao diện người dùng.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án cụ thể để sử dụng Text Embeddedder (Trình nhúng văn bản). Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Công cụ nhúng văn bản sử dụng thư viện com.google.mediapipe:tasks-text. Thêm nội dung này phần phụ thuộc vào tệp build.gradle của dự án phát triển ứng dụng Android. Bạn có thể nhập các phần phụ thuộc bắt buộc bằng đoạn mã sau:

dependencies {
    implementation 'com.google.mediapipe:tasks-text:latest.release'
}

Mẫu

Nhiệm vụ MediaPipe Text Embeddedder (Trình nhúng văn bản MediaPipe) cần có một mô hình đã qua huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình nhúng văn bản, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định trong hàm setupTextEmbedder() trong TextEmbedderHelper.kt tệp:

Dùng hàm BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này sẽ được đề cập trong đoạn mã ví dụ ở phần tiếp theo .

Tạo việc cần làm

Bạn có thể sử dụng một trong các hàm createFrom...() để tạo tác vụ. Chiến lược phát hành đĩa đơn Hàm createFromOptions() chấp nhận các lựa chọn cấu hình để đặt trình nhúng . Bạn cũng có thể khởi chạy tác vụ bằng cách sử dụng factory createFromFile() . Hàm createFromFile() chấp nhận đường dẫn tương đối hoặc tuyệt đối đến tệp mô hình đã huấn luyện. Để biết thêm thông tin về các chế độ cấu hình, hãy xem Tuỳ chọn cấu hình.

Mã sau đây minh hoạ cách tạo và định cấu hình tác vụ này.

val baseOptions = baseOptionsBuilder.build()
val optionsBuilder =
    TextEmbedderOptions.builder().setBaseOptions(baseOptions)
val options = optionsBuilder.build()
textEmbedder = TextEmbedder.createFromOptions(context, options)

Việc triển khai mã ví dụ đặt các tuỳ chọn nhúng văn bản trong Hàm setupTextEmbedder() trong TextEmbedderHelper.kt .

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Công cụ nhúng văn bản hoạt động với dữ liệu văn bản (String). Tác vụ này sẽ xử lý việc nhập dữ liệu xử lý trước, bao gồm cả mã hoá và xử lý trước tensor. Tất cả xử lý trước được xử lý trong hàm embed(). Không cần trước khi xử lý trước thêm văn bản đầu vào.

val inputText = "The input text to be embedded."

Chạy tác vụ

Trình nhúng văn bản sử dụng hàm embed để kích hoạt thông tin suy luận. Đối với văn bản nhúng, tức là trả về các vectơ nhúng cho văn bản đầu vào.

Mã sau đây minh hoạ cách thực thi quá trình xử lý bằng mô hình tác vụ.

textEmbedder?.let {
    val firstEmbed =
        it.embed(firstText).embeddingResult().embeddings().first()
    val secondEmbed =
        it.embed(secondText).embeddingResult().embeddings().first()
    ...
}

Trong mã ví dụ, hàm embed được gọi trong TextEmbedderHelper.kt .

Xử lý và hiện kết quả

Sau khi chạy dự đoán, tác vụ Trình nhúng văn bản sẽ trả về một TextEmbedderResult đối tượng chứa danh sách các mục nhúng (dấu phẩy động hoặc lượng tử hoá vô hướng) cho văn bản đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

TextEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.2345f, 0.1234f, ..., 0.6789f}
    head_index: 0

Bạn có thể so sánh điểm tương đồng về mặt về mặt ngữ nghĩa của 2 nhúng bằng cách sử dụng Hàm TextEmbedder.cosineSimilarity. Hãy xem mã ví dụ sau đây.

val similarity = TextEmbedder.cosineSimilarity(firstEmbed, secondEmbed)

Trong mã ví dụ, hàm TextEmbedder.cosineSimilarity() được gọi trong TextEmbedderHelper.kt .