ImageEmbedder

کلاس نهایی عمومی ImageEmbedder

استخراج تعبیه شده روی تصاویر را انجام می دهد.

API انتظار دارد یک مدل TFLite با فراداده مدل TFLite اختیاری، اما به شدت توصیه شده باشد. .

API از مدل هایی با یک تانسور ورودی تصویر و یک یا چند تانسور خروجی پشتیبانی می کند. برای دقیق تر، در اینجا الزامات وجود دارد.

  • تانسور تصویر ورودی ( kTfLiteUInt8 / kTfLiteFloat32 )
    • اندازه ورودی تصویر [batch x height x width x channels] .
    • استنتاج دسته ای پشتیبانی نمی شود ( batch باید 1 باشد).
    • فقط ورودی های RGB پشتیبانی می شوند ( channels باید 3 باشند).
    • اگر نوع kTfLiteFloat32 باشد، برای عادی سازی ورودی، باید NormalizationOptions به ابرداده پیوست شود.
  • حداقل یک تانسور خروجی ( kTfLiteUInt8 / kTfLiteFloat32 ) با شکل [1 x N] که در آن N تعداد ابعاد در تعبیه‌های تولید شده است.

کلاس های تو در تو

کلاس ImageEmbedder.ImageEmbedderOptions گزینه هایی برای راه اندازی و ImageEmbedder .

روش های عمومی

استاتیک دوبل
cosineSimilarity ( Embedding u، Embedding v)
تابع ابزار برای محاسبه شباهت کسینوس بین دو شی Embedding .
ImageEmbedder ثابت
createFromBuffer (متن زمینه، ByteBuffer modelBuffer)
یک نمونه ImageEmbedder را از بافر مدل و ImageEmbedder.ImageEmbedderOptions پیش فرض ایجاد می کند.
ImageEmbedder ثابت
createFromFile (زمینه زمینه، رشته modelPath)
یک نمونه ImageEmbedder را از یک فایل مدل و ImageEmbedder.ImageEmbedderOptions پیش فرض ایجاد می کند.
ImageEmbedder ثابت
createFromFile (زمینه زمینه، فایل modelFile)
یک نمونه ImageEmbedder را از یک فایل مدل و ImageEmbedder.ImageEmbedderOptions پیش فرض ایجاد می کند.
ImageEmbedder ثابت
createFromOptions (متن زمینه، گزینه های ImageEmbedder.ImageEmbedderOptions )
یک نمونه ImageEmbedder را از یک نمونه ImageEmbedder.ImageEmbedderOptions ایجاد می کند.
ImageEmbedderResult
جاسازی (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions)
استخراج تعبیه شده را روی تصویر واحد ارائه شده انجام می دهد.
ImageEmbedderResult
جاسازی (تصویر MPI )
استخراج تعبیه شده را بر روی تصویر واحد ارائه شده با گزینه های پیش فرض پردازش تصویر انجام می دهد
خالی
embedAsync (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، برچسب های زمانی طولانی)
داده های تصویر زنده را برای انجام استخراج جاسازی ارسال می کند و نتایج از طریق OutputHandler.ResultListener ارائه شده در ImageEmbedder.ImageEmbedderOptions در دسترس خواهد بود.
خالی
embedAsync (تصویر MPImage ، برچسب‌های زمانی طولانی)
داده‌های تصویر زنده را برای انجام استخراج جاسازی با گزینه‌های پردازش تصویر پیش‌فرض، یعنی
ImageEmbedderResult
embedForVideo (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، برچسب های زمانی طولانی)
استخراج تعبیه شده را بر روی قاب ویدیویی ارائه شده انجام می دهد.
ImageEmbedderResult
embedForVideo (تصویر MPI ، مُهر زمانی طولانی)
استخراج تعبیه شده را بر روی قاب ویدیوی ارائه شده با گزینه های پردازش تصویر پیش فرض انجام می دهد، به عنوان مثال

روش های ارثی

روش های عمومی

همسانی دوگانه ایستا عمومی ( Embedding u, Embedding v)

تابع ابزار برای محاسبه شباهت کسینوس بین دو شی Embedding .

مولفه های
تو
v
پرتاب می کند
IllegalArgumentException اگر تعبیه‌ها انواع مختلفی داشته باشند (شناور در مقابل کوانتیزه)، اندازه‌های متفاوتی داشته باشند یا دارای L2-norm 0 باشند.

Public Static ImageEmbedder createFromBuffer (زمینه زمینه، ByteBuffer modelBuffer)

یک نمونه ImageEmbedder را از بافر مدل و ImageEmbedder.ImageEmbedderOptions پیش فرض ایجاد می کند.

مولفه های
متن نوشته یک ERROR(/Context) .
مدل بافر یک ByteBuffer مستقیم یا یک ERROR(/MappedByteBuffer) مدل تعبیه شده.
پرتاب می کند
اگر در حین ایجاد ImageEmbedder خطایی وجود داشته باشد.

Public Static ImageEmbedder createFromFile (زمینه زمینه، رشته modelPath)

یک نمونه ImageEmbedder را از یک فایل مدل و ImageEmbedder.ImageEmbedderOptions پیش فرض ایجاد می کند.

مولفه های
متن نوشته یک ERROR(/Context) .
modelPath مسیر به سمت مدل تعبیه شده در دارایی ها.
پرتاب می کند
اگر در حین ایجاد ImageEmbedder خطایی وجود داشته باشد.

ImageEmbedder استاتیک عمومی createFromFile (زمینه زمینه، فایل modelFile)

یک نمونه ImageEmbedder را از یک فایل مدل و ImageEmbedder.ImageEmbedderOptions پیش فرض ایجاد می کند.

مولفه های
متن نوشته یک ERROR(/Context) .
modelFile مدل تعبیه نمونه File .
پرتاب می کند
IOException اگر هنگام باز کردن فایل مدل tflite خطای I/O رخ دهد.
اگر در حین ایجاد ImageEmbedder خطایی وجود داشته باشد.

عمومی استاتیک ImageEmbedder createFromOptions (متن زمینه، گزینه های ImageEmbedder.ImageEmbedderOptions )

یک نمونه ImageEmbedder را از یک نمونه ImageEmbedder.ImageEmbedderOptions ایجاد می کند.

مولفه های
متن نوشته یک ERROR(/Context) .
گزینه ها یک نمونه ImageEmbedder.ImageEmbedderOptions .
پرتاب می کند
اگر در حین ایجاد ImageEmbedder خطایی وجود داشته باشد.

جاسازی عمومی ImageEmbedderResult (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions)

استخراج تعبیه شده را روی تصویر واحد ارائه شده انجام می دهد. فقط زمانی از این روش استفاده کنید که ImageEmbedder با ERROR(/RunningMode.IMAGE) ایجاد شده باشد.

ImageEmbedder از انواع فضای رنگی زیر پشتیبانی می کند:

مولفه های
تصویر یک شی MediaPipe MPImage برای پردازش.
imageProcessingOptions ImageProcessingOptions نحوه پردازش تصویر ورودی را قبل از اجرای استنتاج مشخص می کند.
پرتاب می کند
اگر خطای داخلی وجود داشته باشد.

جاسازی عمومی ImageEmbedderResult (تصویر MPImage )

استخراج تعبیه شده را روی تصویر واحد ارائه شده با گزینه های پردازش تصویر پیش فرض انجام می دهد، یعنی از کل تصویر به عنوان منطقه مورد علاقه و بدون هیچ چرخشی استفاده می شود. فقط زمانی از این روش استفاده کنید که ImageEmbedder با ERROR(/RunningMode.IMAGE) ایجاد شده باشد.

ImageEmbedder از انواع فضای رنگی زیر پشتیبانی می کند:

مولفه های
تصویر یک شی MediaPipe MPImage برای پردازش.
پرتاب می کند
اگر خطای داخلی وجود داشته باشد.

public void embedAsync (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، timestampMهای طولانی)

داده های تصویر زنده را برای انجام استخراج جاسازی ارسال می کند و نتایج از طریق OutputHandler.ResultListener ارائه شده در ImageEmbedder.ImageEmbedderOptions در دسترس خواهد بود. فقط زمانی از این روش استفاده کنید که ImageEmbedder با ERROR(/RunningMode.LIVE_STREAM) ایجاد شده باشد.

برای نشان دادن زمان ارسال تصویر ورودی به آشکارساز شی، باید یک مهر زمانی (بر حسب میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.

ImageEmbedder از انواع فضای رنگی زیر پشتیبانی می کند:

مولفه های
تصویر یک شی MediaPipe MPImage برای پردازش.
imageProcessingOptions ImageProcessingOptions نحوه پردازش تصویر ورودی را قبل از اجرای استنتاج مشخص می کند.
timestampMs مهر زمانی ورودی (بر حسب میلی ثانیه).
پرتاب می کند
اگر خطای داخلی وجود داشته باشد.

public void embedAsync (تصویر MPImage ، timestampMs طولانی)

داده‌های تصویر زنده را برای انجام استخراج جاسازی با گزینه‌های پردازش تصویر پیش‌فرض، یعنی استفاده از کل تصویر به‌عنوان منطقه مورد علاقه و بدون هیچ چرخشی ارسال می‌کند، و نتایج از طریق OutputHandler.ResultListener ارائه شده در ImageEmbedder.ImageEmbedderOptions در دسترس خواهند بود. فقط زمانی از این روش استفاده کنید که ImageEmbedder با ERROR(/RunningMode.LIVE_STREAM) ایجاد شده باشد.

برای نشان دادن زمان ارسال تصویر ورودی به آشکارساز شی، باید یک مهر زمانی (بر حسب میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.

ImageEmbedder از انواع فضای رنگی زیر پشتیبانی می کند:

مولفه های
تصویر یک شی MediaPipe MPImage برای پردازش.
timestampMs مهر زمانی ورودی (بر حسب میلی ثانیه).
پرتاب می کند
اگر خطای داخلی وجود داشته باشد.

عمومی ImageEmbedderResult embedForVideo (تصویر MPImage ، ImageProcessingOptions imageProcessingOptions، برچسب های زمانی طولانی)

استخراج تعبیه شده را بر روی قاب ویدیویی ارائه شده انجام می دهد. فقط زمانی از این روش استفاده کنید که ImageEmbedder با ERROR(/RunningMode.VIDEO) ایجاد شده باشد.

لازم است مهر زمانی فریم ویدیو (در میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.

ImageEmbedder از انواع فضای رنگی زیر پشتیبانی می کند:

مولفه های
تصویر یک شی MediaPipe MPImage برای پردازش.
imageProcessingOptions ImageProcessingOptions نحوه پردازش تصویر ورودی را قبل از اجرای استنتاج مشخص می کند.
timestampMs مهر زمانی ورودی (بر حسب میلی ثانیه).
پرتاب می کند
اگر خطای داخلی وجود داشته باشد.

عمومی ImageEmbedderResult embedForVideo (تصویر MPI ، مهرهای زمانی طولانی)

استخراج تعبیه شده را بر روی قاب ویدیوی ارائه شده با گزینه های پیش فرض پردازش تصویر انجام می دهد، یعنی از کل تصویر به عنوان منطقه مورد علاقه و بدون هیچ چرخشی استفاده می شود. فقط زمانی از این روش استفاده کنید که ImageEmbedder با ERROR(/RunningMode.VIDEO) ایجاد شده باشد.

لازم است مهر زمانی فریم ویدیو (در میلی ثانیه) ارائه شود. مُهرهای زمانی ورودی باید بطور یکنواخت در حال افزایش باشند.

ImageEmbedder از انواع فضای رنگی زیر پشتیبانی می کند:

مولفه های
تصویر یک شی MediaPipe MPImage برای پردازش.
timestampMs مهر زمانی ورودی (بر حسب میلی ثانیه).
پرتاب می کند
اگر خطای داخلی وجود داشته باشد.