Thực hiện trích xuất nhúng trên hình ảnh.
API yêu cầu mô hình TFLite có Siêu dữ liệu mô hình TFLite không bắt buộc, nhưng bạn nên sử dụng.
API này hỗ trợ các mô hình có một tensor đầu vào hình ảnh và một hoặc nhiều tensor đầu ra. Cụ thể hơn, sau đây là các yêu cầu.
- Tensor hình ảnh đầu vào (
kTfLiteUInt8
/kTfLiteFloat32
)- Ảnh đầu vào có kích thước
[batch x height x width x channels]
. - dự đoán theo lô không được hỗ trợ (
batch
bắt buộc phải là 1). - chỉ hỗ trợ đầu vào RGB (
channels
bắt buộc phải là 3). - nếu loại là kTfLiteFloat32, bạn cần phải đính kèm StandardizationOptions vào siêu dữ liệu để chuẩn hóa đầu vào.
- Ảnh đầu vào có kích thước
- Ít nhất một tensor đầu ra (
kTfLiteUInt8
/kTfLiteFloat32
) có hình dạng[1 x N]
, trong đó N là số chiều trong các nội dung nhúng được tạo.
Lớp lồng ghép
lớp | ImageEmbedder.ImageEmbedderOptions | Các tuỳ chọn thiết lập và ImageEmbedder . |
Phương thức công khai
tĩnh kép |
cosineSimilarity(Nhúng u, Nhúng v)
Hàm tiện ích để tính toán độ tương đồng cosin giữa hai đối tượng
Embedding . |
tĩnh ImageEmbedder |
createFromBuffer(Ngữ cảnh theo bối cảnh, ByteBuffer modelBuffer)
Tạo một thực thể
ImageEmbedder từ vùng đệm mô hình và mặc định là ImageEmbedder.ImageEmbedderOptions . |
tĩnh ImageEmbedder |
createFromFile(Ngữ cảnh, String modelPath)
Tạo một thực thể
ImageEmbedder từ tệp mô hình và mặc định là ImageEmbedder.ImageEmbedderOptions . |
tĩnh ImageEmbedder |
createFromFile(Ngữ cảnh ngữ cảnh, Tệp modelFile)
Tạo một thực thể
ImageEmbedder từ tệp mô hình và mặc định là ImageEmbedder.ImageEmbedderOptions . |
tĩnh ImageEmbedder |
createFromOptions(Ngữ cảnh theo ngữ cảnh, các tuỳ chọn ImageEmbedder.ImageEmbedderOptions)
Tạo một thực thể
ImageEmbedder từ một thực thể ImageEmbedder.ImageEmbedderOptions . |
ImageEmbedderResult |
nhúng(hình ảnh MPImage, ImageProcessingOptions cách xử lý hình ảnh)
Thực hiện trích xuất nhúng trên một hình ảnh được cung cấp.
|
ImageEmbedderResult | |
void |
embedAsync(hình ảnh MPImage, ImageProcessingOptions imageprocessingOptions, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để thực hiện quá trình trích xuất dữ liệu nhúng và kết quả sẽ có qua
OutputHandler.ResultListener được cung cấp trong ImageEmbedder.ImageEmbedderOptions . |
void |
embedAsync(hình ảnh MPImage, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để thực hiện trích xuất nhúng bằng các tuỳ chọn xử lý hình ảnh mặc định, tức là
|
ImageEmbedderResult |
embedForVideo(hình ảnh MPImage, ImageProcessingOptions imageprocessingOptions, long timestampMs)
Thực hiện trích xuất nhúng trên khung video được cung cấp.
|
ImageEmbedderResult |
embedForVideo(hình ảnh MPImage, long timestampMs)
Thực hiện trích xuất nhúng trên khung video được cung cấp với các tuỳ chọn xử lý hình ảnh mặc định, tức là
|
Các phương thức kế thừa
Phương thức công khai
công khai tĩnh double cosineSimilarity (Nhúng u, Nhúng v)
Hàm tiện ích để tính toán độ tương đồng cosin giữa hai đối tượng Embedding
.
Thông số
u | |
---|---|
v |
Gửi
IllegalArgumentException | nếu các nội dung nhúng thuộc các loại khác nhau (số thực có độ chính xác đơn so với số lượng tử hoá), có kích thước khác nhau hoặc có tiêu chuẩn L2 bằng 0. |
---|
công khai tĩnh ImageEmbedder createFromBuffer (Ngữ cảnh ngữ cảnh, ByteBuffer mô hìnhBuffer)
Tạo một thực thể ImageEmbedder
từ vùng đệm mô hình và mặc định là ImageEmbedder.ImageEmbedderOptions
.
Thông số
bối cảnh | một ERROR(/Context) trên Android. |
---|---|
modelBuffer | ByteBuffer trực tiếp hoặc ERROR(/MappedByteBuffer) của mô hình nhúng. |
Gửi
nếu có lỗi trong quá trình tạo ImageEmbedder .
|
công khai tĩnh ImageEmbedder createFromFile (Ngữ cảnh theo ngữ cảnh, String modelPath)
Tạo một thực thể ImageEmbedder
từ tệp mô hình và mặc định là ImageEmbedder.ImageEmbedderOptions
.
Thông số
bối cảnh | một ERROR(/Context) trên Android. |
---|---|
modelPath | đến mô hình nhúng trong thành phần. |
Gửi
nếu có lỗi trong quá trình tạo ImageEmbedder .
|
công khai tĩnh ImageEmbedder createFromFile (Ngữ cảnh ngữ cảnh, File mô hìnhFile)
Tạo một thực thể ImageEmbedder
từ tệp mô hình và mặc định là ImageEmbedder.ImageEmbedderOptions
.
Thông số
bối cảnh | một ERROR(/Context) trên Android. |
---|---|
modelFile | thực thể File của mô hình nhúng. |
Gửi
IOException | nếu xảy ra lỗi I/O khi mở tệp mô hình tflite. |
---|---|
nếu có lỗi trong quá trình tạo ImageEmbedder .
|
công khai tĩnh ImageEmbedder createFromOptions (Ngữ cảnh ngữ cảnh, các tuỳ chọn ImageEmbedder.ImageEmbedderOptions)
Tạo một thực thể ImageEmbedder
từ một thực thể ImageEmbedder.ImageEmbedderOptions
.
Thông số
bối cảnh | một ERROR(/Context) trên Android. |
---|---|
tùy chọn | một thực thể ImageEmbedder.ImageEmbedderOptions . |
Gửi
nếu có lỗi trong quá trình tạo ImageEmbedder .
|
công khai ImageEmbedderResult embed (MPImage hình ảnh, ImageProcessingOptions imageprocessingOptions)
Thực hiện trích xuất nhúng trên một hình ảnh được cung cấp. Chỉ sử dụng phương thức này khi ImageEmbedder
được tạo bằng ERROR(/RunningMode.IMAGE)
.
ImageEmbedder
hỗ trợ các loại hệ màu sau:
Thông số
hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
---|---|
imageProcessingOptions | ImageProcessingOptions xác định cách xử lý hình ảnh đầu vào trước khi chạy suy luận. |
Gửi
nếu có lỗi nội bộ. |
công khai ImageEmbedderResult embed (MPImage)
Thực hiện trích xuất nhúng trên một hình ảnh được cung cấp với các tuỳ chọn xử lý hình ảnh mặc định, tức là sử dụng toàn bộ hình ảnh làm khu vực quan tâm và không áp dụng bất kỳ chế độ xoay nào.
Chỉ sử dụng phương thức này khi ImageEmbedder
được tạo bằng ERROR(/RunningMode.IMAGE)
.
ImageEmbedder
hỗ trợ các loại hệ màu sau:
Thông số
hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
---|
Gửi
nếu có lỗi nội bộ. |
công khai void embedAsync (MPImage image, ImageProcessingOptions imageMethodOptions, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để thực hiện quá trình trích xuất dữ liệu nhúng và kết quả sẽ có qua OutputHandler.ResultListener
được cung cấp trong ImageEmbedder.ImageEmbedderOptions
. Chỉ sử dụng phương thức này khi ImageEmbedder
được tạo bằng ERROR(/RunningMode.LIVE_STREAM)
.
Bạn phải cung cấp dấu thời gian (tính bằng mili giây) để cho biết thời điểm hình ảnh đầu vào được gửi đến trình phát hiện đối tượng. Dấu thời gian đầu vào phải tăng đơn điệu.
ImageEmbedder
hỗ trợ các loại hệ màu sau:
Thông số
hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
---|---|
imageProcessingOptions | ImageProcessingOptions xác định cách xử lý hình ảnh đầu vào trước khi chạy suy luận. |
timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
nếu có lỗi nội bộ. |
công khai khoảng trống embedAsync (MPImage image, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để tiến hành trích xuất nhúng bằng các tuỳ chọn xử lý hình ảnh mặc định, tức là sử dụng toàn bộ hình ảnh làm khu vực quan tâm mà không áp dụng chế độ xoay. Kết quả sẽ có sẵn qua OutputHandler.ResultListener
được cung cấp trong ImageEmbedder.ImageEmbedderOptions
. Chỉ sử dụng phương thức này khi ImageEmbedder
được tạo bằng ERROR(/RunningMode.LIVE_STREAM)
.
Bạn phải cung cấp dấu thời gian (tính bằng mili giây) để cho biết thời điểm hình ảnh đầu vào được gửi đến trình phát hiện đối tượng. Dấu thời gian đầu vào phải tăng đơn điệu.
ImageEmbedder
hỗ trợ các loại hệ màu sau:
Thông số
hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
---|---|
timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
nếu có lỗi nội bộ. |
công khai ImageEmbedderResult embedForVideo (MPImage hình ảnh, ImageProcessingOptions imageprocessingOptions, long timestampMs)
Thực hiện trích xuất nhúng trên khung video được cung cấp. Chỉ sử dụng phương thức này khi ImageEmbedder
được tạo bằng ERROR(/RunningMode.VIDEO)
.
Bạn phải cung cấp dấu thời gian của khung hình video (tính bằng mili giây). Dấu thời gian đầu vào phải tăng đơn điệu.
ImageEmbedder
hỗ trợ các loại hệ màu sau:
Thông số
hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
---|---|
imageProcessingOptions | ImageProcessingOptions xác định cách xử lý hình ảnh đầu vào trước khi chạy suy luận. |
timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
nếu có lỗi nội bộ. |
công khai ImageEmbedderResult embedForVideo (MPImage hình ảnh, dấu thời gian dàiMs)
Thực hiện trích xuất nhúng trên khung video được cung cấp với các tuỳ chọn xử lý hình ảnh mặc định, tức là sử dụng toàn bộ hình ảnh làm khu vực quan tâm và không áp dụng bất kỳ chế độ xoay nào.
Chỉ sử dụng phương thức này khi ImageEmbedder
được tạo bằng ERROR(/RunningMode.VIDEO)
.
Bạn phải cung cấp dấu thời gian của khung hình video (tính bằng mili giây). Dấu thời gian đầu vào phải tăng đơn điệu.
ImageEmbedder
hỗ trợ các loại hệ màu sau:
Thông số
hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
---|---|
timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
nếu có lỗi nội bộ. |