TextEmbedder

lớp cuối cùng công khai TextEmbedder

Thực hiện trích xuất nhúng trên văn bản.

API này yêu cầu mô hình TFLite có Siêu dữ liệu mô hình TFLite (không bắt buộc).

Siêu dữ liệu là bắt buộc đối với các mô hình có tensor đầu vào int32 vì siêu dữ liệu này chứa đơn vị xử lý đầu vào cho Trình tạo mã thông báo của mô hình. Không cần siêu dữ liệu đối với các mô hình có tensor đầu vào chuỗi.

  • Tensor đầu vào
    • Ba tensor đầu vào (kTfLiteInt32) của hình dạng [batch_size x bert_max_seq_len] đại diện cho các mã nhận dạng đầu vào, mã mặt nạ và mã phân đoạn. Chữ ký đầu vào này cần có đơn vị xử lý Bert Tokenizer trong siêu dữ liệu của mô hình.
    • Hoặc một tensor đầu vào (kTfLiteInt32) của hình dạng [batch_size x max_seq_len] biểu thị mã đầu vào. Để chữ ký dữ liệu đầu vào này, bạn cần có một đơn vị quy trình của Trình mã thông báo của Regex trong siêu dữ liệu của mô hình.
    • Hoặc một tensor đầu vào (kTfLiteString) không có hình dạng hoặc có hình dạng [1] chứa chuỗi dữ liệu đầu vào.
  • Ít nhất một tensor đầu ra (kTfLiteFloat32/kTfLiteUint8) có hình dạng [1 x N], trong đó N là số chiều trong các nội dung nhúng được tạo.

Lớp lồng ghép

lớp TextEmbedder.TextEmbedderOptions Các tuỳ chọn thiết lập TextEmbedder. 

Phương thức công khai

void
Hàm close()
Đóng và dọn dẹp TextEmbedder.
tĩnh kép
cosineSimilarity(Nhúng u, Nhúng v)
Hàm tiện ích để tính toán độ tương đồng cosin giữa hai đối tượng Embedding.
TextEmbedder tĩnh
createFromFile(Ngữ cảnh, String modelPath)
Tạo một thực thể TextEmbedder từ tệp mô hình và TextEmbedder.TextEmbedderOptions mặc định.
TextEmbedder tĩnh
createFromFile(Ngữ cảnh ngữ cảnh, Tệp modelFile)
Tạo một thực thể TextEmbedder từ tệp mô hình và TextEmbedder.TextEmbedderOptions mặc định.
TextEmbedder tĩnh
createFromOptions(Ngữ cảnh, các tuỳ chọn TextEmbedder.TextEmbedderOptions)
Tạo một thực thể TextEmbedder từ TextEmbedder.TextEmbedderOptions.
TextEmbedderResult
embed(Chuỗi inputText)
Thực hiện trích xuất nhúng trên văn bản nhập.

Các phương thức kế thừa

Phương thức công khai

công khai void close ()

Đóng và dọn dẹp TextEmbedder.

công khai tĩnh double cosineSimilarity (Nhúng u, Nhúng v)

Hàm tiện ích để tính toán độ tương đồng cosin giữa hai đối tượng Embedding.

Thông số
u
v
Gửi
IllegalArgumentException nếu các nội dung nhúng thuộc các loại khác nhau (số thực có độ chính xác đơn so với số lượng tử hoá), có kích thước khác nhau hoặc có tiêu chuẩn L2 bằng 0.

công khai tĩnh TextEmbedder createFromFile (Ngữ cảnh theo ngữ cảnh, String modelPath)

Tạo một thực thể TextEmbedder từ tệp mô hình và TextEmbedder.TextEmbedderOptions mặc định.

Thông số
bối cảnh một ERROR(/Context) trên Android.
modelPath đường dẫn đến mô hình văn bản với siêu dữ liệu trong nội dung.
Gửi
nếu có lỗi trong quá trình tạo TextEmbedder.

công khai tĩnh TextEmbedder createFromFile (Ngữ cảnh, Tệp mô hìnhFile)

Tạo một thực thể TextEmbedder từ tệp mô hình và TextEmbedder.TextEmbedderOptions mặc định.

Thông số
bối cảnh một ERROR(/Context) trên Android.
modelFile thực thể File của mô hình văn bản.
Gửi
IOException nếu xảy ra lỗi I/O khi mở tệp mô hình tflite.
nếu có lỗi trong quá trình tạo TextEmbedder.

công khai tĩnh TextEmbedder createFromOptions (Ngữ cảnh, Tuỳ chọn TextEmbedder.TextEmbedderOptions)

Tạo một thực thể TextEmbedder từ TextEmbedder.TextEmbedderOptions.

Thông số
bối cảnh một ERROR(/Context) trên Android.
tùy chọn một thực thể TextEmbedder.TextEmbedderOptions.
Gửi
nếu có lỗi trong quá trình tạo TextEmbedder.

công khai TextEmbedderResult embed (String inputText)

Thực hiện trích xuất nhúng trên văn bản nhập.

Thông số
inputText String để xử lý.