Thực hiện phân loại trên hình ảnh.
API yêu cầu mô hình TFLite có Siêu dữ liệu mô hình TFLite không bắt buộc, nhưng bạn nên sử dụng.
API này hỗ trợ các mô hình có một tensor đầu vào hình ảnh và một hoặc nhiều tensor đầu ra. Cụ thể hơn, sau đây là các yêu cầu.
- Tensor hình ảnh đầu vào (
kTfLiteUInt8/kTfLiteFloat32)- Ảnh đầu vào có kích thước
[batch x height x width x channels]. - dự đoán theo lô không được hỗ trợ (
batchbắt buộc phải là 1). - chỉ hỗ trợ đầu vào RGB (
channelsbắt buộc phải là 3). - nếu loại là kTfLiteFloat32, bạn cần phải đính kèm StandardizationOptions vào siêu dữ liệu để chuẩn hóa đầu vào.
- Ảnh đầu vào có kích thước
- Ít nhất một tensor đầu ra (
kTfLiteUInt8/kTfLiteFloat32) với:- Lớp
Nvà 2 hoặc 4 phương diện, tức là[1 x N]hoặc[1 x 1 x 1 x N] - (các) bản đồ nhãn không bắt buộc(nhưng nên dùng) dưới dạng AssociatedFile-s thuộc loại TENSOR_AXIS_LABEL, chứa một nhãn trên mỗi dòng. AssociatedFile đầu tiên (nếu có) sẽ được dùng để điền vào trường
class_namecủa kết quả. Trườngdisplay_nameđược điền từ tệp AssociatedFile (nếu có) có ngôn ngữ khớp với trườngdisplay_names_localecủaImageClassifierOptionsdùng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có kết quả nào trong số này, thì chỉ có trườngindexcủa kết quả được điền. - Bạn có thể đính kèm thông tin hiệu chỉnh điểm số không bắt buộc bằng ScoreCalibrationOptions và AssociatedFile thuộc loại TENSOR_AXIS_SCORE_CALIBRATION. Hãy xem siêu dữ liệu_schema.fbs để biết thêm thông tin chi tiết.
- Lớp
Bạn có thể xem ví dụ về mô hình như vậy TensorFlow Hub.
Lớp lồng ghép
| lớp | ImageClassifier.ImageClassifierOptions | Các tuỳ chọn thiết lập và ImageClassifier. |
|
Phương thức công khai
| ImageClassifierResult | |
| ImageClassifierResult |
phân loại(hình ảnh MPImage, ImageProcessingOptions imageprocessingOptions)
Thực hiện phân loại trên một hình ảnh được cung cấp.
|
| void |
classifyAsync(hình ảnh MPImage, ImageProcessingOptions image ProcessingOptions, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để thực hiện quá trình phân loại và kết quả sẽ có qua
OutputHandler.ResultListener được cung cấp trong ImageClassifier.ImageClassifierOptions. |
| void |
classifyAsync(hình ảnh MPImage, dấu thời gian dàiMs)
Gửi dữ liệu hình ảnh trực tiếp để phân loại với các tuỳ chọn xử lý hình ảnh mặc định, tức là
|
| ImageClassifierResult |
classifyForVideo(hình ảnh MPImage, dấu thời gian dàiMs)
Thực hiện phân loại trên khung video được cung cấp với các tuỳ chọn xử lý hình ảnh mặc định, tức là
|
| ImageClassifierResult |
classifyForVideo(hình ảnh MPImage, ImageProcessingOptions imageprocessingOptions, long timestampMs)
Thực hiện phân loại trên khung hình video được cung cấp.
|
| tĩnh ImageClassifier |
createFromBuffer(Ngữ cảnh theo bối cảnh, ByteBuffer modelBuffer)
Tạo một thực thể
ImageClassifier từ vùng đệm mô hình và mặc định là ImageClassifier.ImageClassifierOptions. |
| tĩnh ImageClassifier |
createFromFile(Ngữ cảnh, String modelPath)
Tạo một thực thể
ImageClassifier từ tệp mô hình và mặc định là ImageClassifier.ImageClassifierOptions. |
| tĩnh ImageClassifier |
createFromFile(Ngữ cảnh ngữ cảnh, Tệp modelFile)
Tạo một thực thể
ImageClassifier từ tệp mô hình và mặc định là ImageClassifier.ImageClassifierOptions. |
| tĩnh ImageClassifier |
createFromOptions(Ngữ cảnh, tuỳ chọn ImageClassifier.ImageClassifierOptions)
Tạo một thực thể
ImageClassifier từ một thực thể ImageClassifier.ImageClassifierOptions. |
Các phương thức kế thừa
Phương thức công khai
công khai ImageClassifierResult phân loại (MPImage)
Phân loại trên một hình ảnh được cung cấp với các tuỳ chọn xử lý hình ảnh mặc định, tức là sử dụng toàn bộ hình ảnh làm khu vực quan tâm và không áp dụng bất kỳ chế độ xoay nào. Chỉ sử dụng phương thức này khi ImageClassifier được tạo bằng ERROR(/RunningMode.IMAGE).
ImageClassifier hỗ trợ các loại hệ màu sau:
Tham số
| hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
|---|
Gửi
| nếu có lỗi nội bộ. |
công khai ImageClassifierResult phân loại (MPImage hình ảnh, ImageProcessingOptions imageprocessingOptions)
Thực hiện phân loại trên một hình ảnh được cung cấp. Chỉ sử dụng phương thức này khi ImageClassifier được tạo bằng ERROR(/RunningMode.IMAGE).
ImageClassifier hỗ trợ các loại hệ màu sau:
Tham số
| hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
|---|---|
| imageProcessingOptions | ImageProcessingOptions xác định cách xử lý hình ảnh đầu vào trước khi chạy suy luận. |
Gửi
| nếu có lỗi nội bộ. |
công khai vô hiệu classifyAsync (MPImage hình ảnh, ImageProcessingOptions imageprocessingOptions, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để thực hiện quá trình phân loại và kết quả sẽ có qua OutputHandler.ResultListener được cung cấp trong ImageClassifier.ImageClassifierOptions. Chỉ sử dụng phương thức này khi ImageClassifier được tạo bằng ERROR(/RunningMode.LIVE_STREAM).
Bạn phải cung cấp dấu thời gian (tính bằng mili giây) để cho biết thời điểm hình ảnh đầu vào được gửi đến trình phát hiện đối tượng. Dấu thời gian đầu vào phải tăng đơn điệu.
ImageClassifier hỗ trợ các loại hệ màu sau:
Tham số
| hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
|---|---|
| imageProcessingOptions | ImageProcessingOptions xác định cách xử lý hình ảnh đầu vào trước khi chạy suy luận. |
| timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
| nếu có lỗi nội bộ. |
công khai trống classifyAsync (Hình ảnh MPImage, long timestampMs)
Gửi dữ liệu hình ảnh trực tiếp để phân loại bằng các tuỳ chọn xử lý hình ảnh mặc định, tức là sử dụng toàn bộ hình ảnh làm khu vực quan tâm mà không áp dụng chế độ xoay. Kết quả sẽ có qua OutputHandler.ResultListener được cung cấp trong ImageClassifier.ImageClassifierOptions. Chỉ sử dụng phương thức này khi ImageClassifier được tạo bằng ERROR(/RunningMode.LIVE_STREAM).
Bạn phải cung cấp dấu thời gian (tính bằng mili giây) để cho biết thời điểm hình ảnh đầu vào được gửi đến trình phát hiện đối tượng. Dấu thời gian đầu vào phải tăng đơn điệu.
ImageClassifier hỗ trợ các loại hệ màu sau:
Tham số
| hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
|---|---|
| timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
| nếu có lỗi nội bộ. |
công khai ImageClassifierResult classifyForVideo (MPImage hình ảnh, dấu thời gian dàiMs)
Phân loại trên khung video được cung cấp với các tuỳ chọn xử lý hình ảnh mặc định, tức là sử dụng toàn bộ hình ảnh làm khu vực quan tâm và không áp dụng bất kỳ chế độ xoay nào. Chỉ sử dụng phương thức này khi ImageClassifier được tạo bằng ERROR(/RunningMode.VIDEO).
Bạn phải cung cấp dấu thời gian của khung hình video (tính bằng mili giây). Dấu thời gian đầu vào phải tăng đơn điệu.
ImageClassifier hỗ trợ các loại hệ màu sau:
Tham số
| hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
|---|---|
| timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
| nếu có lỗi nội bộ. |
công khai ImageClassifierResult classifyForVideo (MPImage hình ảnh, ImageProcessingOptions imageprocessingOptions, long timestampMs)
Thực hiện phân loại trên khung hình video được cung cấp. Chỉ sử dụng phương thức này khi ImageClassifier được tạo bằng ERROR(/RunningMode.VIDEO).
Bạn phải cung cấp dấu thời gian của khung hình video (tính bằng mili giây). Dấu thời gian đầu vào phải tăng đơn điệu.
ImageClassifier hỗ trợ các loại hệ màu sau:
Tham số
| hình ảnh | một đối tượng MPImage MediaPipe để xử lý. |
|---|---|
| imageProcessingOptions | ImageProcessingOptions xác định cách xử lý hình ảnh đầu vào trước khi chạy suy luận. |
| timestampMs | dấu thời gian nhập (tính bằng mili giây). |
Gửi
| nếu có lỗi nội bộ. |
công khai tĩnh ImageClassifier createFromBuffer (Ngữ cảnh ngữ cảnh, ByteBuffer modelBuffer)
Tạo một thực thể ImageClassifier từ vùng đệm mô hình và mặc định là ImageClassifier.ImageClassifierOptions.
Tham số
| bối cảnh | một ERROR(/Context) trên Android. |
|---|---|
| modelBuffer | ByteBuffer trực tiếp hoặc ERROR(/MappedByteBuffer) của mô hình phân loại. |
Gửi
nếu có lỗi trong quá trình tạo ImageClassifier.
|
công khai tĩnh ImageClassifier createFromFile (Ngữ cảnh ngữ cảnh, String mô hìnhPath)
Tạo một thực thể ImageClassifier từ tệp mô hình và mặc định là ImageClassifier.ImageClassifierOptions.
Tham số
| bối cảnh | một ERROR(/Context) trên Android. |
|---|---|
| modelPath | đường dẫn đến mô hình phân loại trong thành phần. |
Gửi
nếu có lỗi trong quá trình tạo ImageClassifier.
|
công khai tĩnh ImageClassifier createFromFile (Ngữ cảnh ngữ cảnh, File mô hìnhFile)
Tạo một thực thể ImageClassifier từ tệp mô hình và mặc định là ImageClassifier.ImageClassifierOptions.
Tham số
| bối cảnh | một ERROR(/Context) trên Android. |
|---|---|
| modelFile | thực thể File của mô hình phân loại. |
Gửi
| IOException | nếu xảy ra lỗi I/O khi mở tệp mô hình tflite. |
|---|---|
nếu có lỗi trong quá trình tạo ImageClassifier.
|
công khai tĩnh ImageClassifier createFromOptions (Ngữ cảnh ngữ cảnh, ImageClassifier.ImageClassifierOptions tuỳ chọn)
Tạo một thực thể ImageClassifier từ một thực thể ImageClassifier.ImageClassifierOptions.
Tham số
| bối cảnh | một ERROR(/Context) trên Android. |
|---|---|
| tùy chọn | một thực thể ImageClassifier.ImageClassifierOptions. |
Gửi
nếu có lỗi trong quá trình tạo ImageClassifier.
|