طبقه بندی را روی تصاویر انجام می دهد.
API انتظار دارد یک مدل TFLite با فراداده مدل TFLite اختیاری، اما به شدت توصیه شده باشد. .
API از مدل هایی با یک تانسور ورودی تصویر و یک یا چند تانسور خروجی پشتیبانی می کند. برای دقیق تر، در اینجا الزامات وجود دارد.
- تانسور تصویر ورودی (
kTfLiteUInt8
/kTfLiteFloat32
)- اندازه ورودی تصویر
[batch x height x width x channels]
. - استنتاج دسته ای پشتیبانی نمی شود (
batch
باید 1 باشد). - فقط ورودی های RGB پشتیبانی می شوند (
channels
باید 3 باشند). - اگر نوع kTfLiteFloat32 باشد، برای عادی سازی ورودی، باید NormalizationOptions به ابرداده پیوست شود.
- اندازه ورودی تصویر
kTfLiteUInt8
/ kTfLiteFloat32
) با:-
N
کلاس و 2 یا 4 بعد، یعنی[1 x N]
یا[1 x 1 x 1 x N]
- نقشه(های) برچسب اختیاری (اما توصیه شده) به عنوان AssociatedFile-s با نوع TENSOR_AXIS_LABELS، حاوی یک برچسب در هر خط. اولین AssociatedFile (در صورت وجود) برای پر کردن قسمت
class_name
نتایج استفاده می شود. فیلدdisplay_name
از AssociatedFile (در صورت وجود) پر می شود که منطقه آن با فیلدdisplay_names_locale
ازImageClassifierOptions
استفاده شده در زمان ایجاد ("en" به طور پیش فرض، یعنی انگلیسی) مطابقت دارد. اگر هیچ یک از اینها در دسترس نباشد، فقط قسمتindex
نتایج پر می شود. - کالیبراسیون امتیاز اختیاری را می توان با استفاده از ScoreCalibrationOptions و AssociatedFile با نوع TENSOR_AXIS_SCORE_CALIBRATION ضمیمه کرد. برای جزئیات بیشتر به metadata_schema.fbs مراجعه کنید.
نمونه ای از چنین مدلی را می توان TensorFlow Hub را یافت.
کلاس های تو در تو
کلاس | ImageClassifier.ImageClassifierOptions | گزینه هایی برای راه اندازی و ImageClassifier . |
روش های عمومی
ImageClassifierResult | |
ImageClassifierResult | طبقه بندی (تصویر MPI ، ImageProcessingOptions imageProcessingOptions) طبقه بندی را روی تصویر واحد ارائه شده انجام می دهد. |
خالی | classifyAsync (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، برچسب های زمانی طولانی) داده های تصویر زنده را برای انجام طبقه بندی ارسال می کند و نتایج از طریق OutputHandler.ResultListener ارائه شده در ImageClassifier.ImageClassifierOptions در دسترس خواهد بود. |
خالی | classifyAsync (تصویر MPImage ، برچسبهای زمانی طولانی) داده های تصویر زنده را برای انجام طبقه بندی با گزینه های پردازش تصویر پیش فرض می فرستد |
ImageClassifierResult | classifyForVideo (تصویر MPI ، مُهر زمانی طولانی) طبقه بندی را بر روی قاب ویدیوی ارائه شده با گزینه های پردازش تصویر پیش فرض انجام می دهد، به عنوان مثال |
ImageClassifierResult | classifyForVideo (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، برچسب های زمانی طولانی) طبقه بندی را بر روی قاب ویدیویی ارائه شده انجام می دهد. |
ImageClassifier استاتیک | createFromBuffer (متن زمینه، ByteBuffer modelBuffer) یک نمونه ImageClassifier از بافر مدل و ImageClassifier.ImageClassifierOptions پیشفرض ایجاد میکند. |
ImageClassifier استاتیک | createFromFile (زمینه زمینه، رشته modelPath) یک نمونه ImageClassifier از یک فایل مدل و ImageClassifier.ImageClassifierOptions پیشفرض ایجاد میکند. |
ImageClassifier استاتیک | createFromFile (زمینه زمینه، فایل modelFile) یک نمونه ImageClassifier از یک فایل مدل و ImageClassifier.ImageClassifierOptions پیشفرض ایجاد میکند. |
ImageClassifier استاتیک | createFromOptions (متن زمینه، گزینه های ImageClassifier.ImageClassifierOptions ) یک نمونه ImageClassifier از یک نمونه ImageClassifier.ImageClassifierOptions ایجاد می کند. |
روش های ارثی
روش های عمومی
عمومی ImageClassifierResult طبقه بندی (تصویر MPI )
طبقه بندی را بر روی تصویر واحد ارائه شده با گزینه های پردازش تصویر پیش فرض انجام می دهد، یعنی با استفاده از کل تصویر به عنوان منطقه مورد علاقه و بدون هیچ چرخشی اعمال می شود. فقط زمانی از این روش استفاده کنید که ImageClassifier
با ERROR(/RunningMode.IMAGE)
ایجاد شده باشد.
ImageClassifier
از انواع فضای رنگی زیر پشتیبانی می کند:
مولفه های
تصویر | یک شی MediaPipe MPImage برای پردازش. |
---|
پرتاب می کند
اگر یک خطای داخلی وجود داشته باشد. |
طبقه بندی عمومی ImageClassifierResult (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions)
طبقه بندی را روی تصویر واحد ارائه شده انجام می دهد. فقط زمانی از این روش استفاده کنید که ImageClassifier
با ERROR(/RunningMode.IMAGE)
ایجاد شده باشد.
ImageClassifier
از انواع فضای رنگی زیر پشتیبانی می کند:
مولفه های
تصویر | یک شی MediaPipe MPImage برای پردازش. |
---|---|
imageProcessingOptions | ImageProcessingOptions نحوه پردازش تصویر ورودی را قبل از اجرای استنتاج مشخص می کند. |
پرتاب می کند
اگر یک خطای داخلی وجود داشته باشد. |
public void classifyAsync (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، برچسب های زمانی طولانی)
داده های تصویر زنده را برای انجام طبقه بندی ارسال می کند و نتایج از طریق OutputHandler.ResultListener
ارائه شده در ImageClassifier.ImageClassifierOptions
در دسترس خواهد بود. فقط زمانی از این روش استفاده کنید که ImageClassifier
با ERROR(/RunningMode.LIVE_STREAM)
ایجاد شده باشد.
برای نشان دادن زمان ارسال تصویر ورودی به آشکارساز شی، باید یک مهر زمانی (بر حسب میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.
ImageClassifier
از انواع فضای رنگی زیر پشتیبانی می کند:
مولفه های
تصویر | یک شی MediaPipe MPImage برای پردازش. |
---|---|
imageProcessingOptions | ImageProcessingOptions نحوه پردازش تصویر ورودی را قبل از اجرای استنتاج مشخص می کند. |
timestampMs | مهر زمانی ورودی (بر حسب میلی ثانیه). |
پرتاب می کند
اگر یک خطای داخلی وجود داشته باشد. |
public void classifyAsync (تصویر MPI ، مهرهای زمانی طولانی)
دادههای تصویر زنده را برای انجام طبقهبندی با گزینههای پردازش تصویر پیشفرض، یعنی استفاده از کل تصویر بهعنوان منطقه مورد علاقه و بدون هیچ چرخشی ارسال میکند، و نتایج از طریق OutputHandler.ResultListener
ارائه شده در ImageClassifier.ImageClassifierOptions
در دسترس خواهند بود. فقط زمانی از این روش استفاده کنید که ImageClassifier
با ERROR(/RunningMode.LIVE_STREAM)
ایجاد شده باشد.
برای نشان دادن زمان ارسال تصویر ورودی به آشکارساز شی، باید یک مهر زمانی (بر حسب میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.
ImageClassifier
از انواع فضای رنگی زیر پشتیبانی می کند:
مولفه های
تصویر | یک شی MediaPipe MPImage برای پردازش. |
---|---|
timestampMs | مهر زمانی ورودی (بر حسب میلی ثانیه). |
پرتاب می کند
اگر یک خطای داخلی وجود داشته باشد. |
عمومی ImageClassifierResult classifyForVideo (تصویر MPI ، مُهر زمانی طولانی)
طبقه بندی را بر روی قاب ویدیوی ارائه شده با گزینه های پردازش تصویر پیش فرض انجام می دهد، یعنی با استفاده از کل تصویر به عنوان منطقه مورد علاقه و بدون هیچ چرخشی اعمال می شود. فقط زمانی از این روش استفاده کنید که ImageClassifier
با ERROR(/RunningMode.VIDEO)
ایجاد شده باشد.
لازم است مهر زمانی فریم ویدیو (در میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.
ImageClassifier
از انواع فضای رنگی زیر پشتیبانی می کند:
مولفه های
تصویر | یک شی MediaPipe MPImage برای پردازش. |
---|---|
timestampMs | مهر زمانی ورودی (بر حسب میلی ثانیه). |
پرتاب می کند
اگر یک خطای داخلی وجود داشته باشد. |
عمومی ImageClassifierResult classifyForVideo (تصویر MPI ، ImageProcessingOptions imageProcessingOptions، مُهر زمانی طولانی)
طبقه بندی را بر روی قاب ویدیویی ارائه شده انجام می دهد. فقط زمانی از این روش استفاده کنید که ImageClassifier
با ERROR(/RunningMode.VIDEO)
ایجاد شده باشد.
لازم است مهر زمانی فریم ویدیو (در میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.
ImageClassifier
از انواع فضای رنگی زیر پشتیبانی می کند:
مولفه های
تصویر | یک شی MediaPipe MPImage برای پردازش. |
---|---|
imageProcessingOptions | ImageProcessingOptions نحوه پردازش تصویر ورودی را قبل از اجرای استنتاج مشخص می کند. |
timestampMs | مهر زمانی ورودی (بر حسب میلی ثانیه). |
پرتاب می کند
اگر یک خطای داخلی وجود داشته باشد. |
عمومی استاتیک ImageClassifier createFromBuffer (زمینه زمینه، ByteBuffer modelBuffer)
یک نمونه ImageClassifier
از بافر مدل و ImageClassifier.ImageClassifierOptions
پیشفرض ایجاد میکند.
مولفه های
متن نوشته | یک ERROR(/Context) . |
---|---|
مدل بافر | یک ByteBuffer مستقیم یا یک ERROR(/MappedByteBuffer) مدل طبقه بندی. |
پرتاب می کند
اگر در حین ایجاد ImageClassifier خطایی وجود داشته باشد. |
ImageClassifier استاتیک عمومی createFromFile (زمینه زمینه، رشته مدلPath)
یک نمونه ImageClassifier
از یک فایل مدل و ImageClassifier.ImageClassifierOptions
پیشفرض ایجاد میکند.
مولفه های
متن نوشته | یک ERROR(/Context) . |
---|---|
modelPath | مسیر مدل طبقه بندی در دارایی ها |
پرتاب می کند
اگر در حین ایجاد ImageClassifier خطایی وجود داشته باشد. |
عمومی استاتیک ImageClassifier createFromFile (زمینه زمینه، فایل modelFile)
یک نمونه ImageClassifier
از یک فایل مدل و ImageClassifier.ImageClassifierOptions
پیشفرض ایجاد میکند.
مولفه های
متن نوشته | یک ERROR(/Context) . |
---|---|
modelFile | مدل طبقه بندی نمونه File . |
پرتاب می کند
IOException | اگر هنگام باز کردن فایل مدل tflite خطای I/O رخ دهد. |
---|---|
اگر در حین ایجاد ImageClassifier خطایی وجود داشته باشد. |
عمومی استاتیک ImageClassifier createFromOptions (متن زمینه، گزینه های ImageClassifier.ImageClassifierOptions )
یک نمونه ImageClassifier
از یک نمونه ImageClassifier.ImageClassifierOptions
ایجاد می کند.
مولفه های
متن نوشته | یک ERROR(/Context) . |
---|---|
گزینه ها | یک نمونه ImageClassifier.ImageClassifierOptions . |
پرتاب می کند
اگر در حین ایجاد ImageClassifier خطایی وجود داشته باشد. |