Realiza la extracción de incorporaciones en imágenes.
La API espera un modelo TFLite con metadatos del modelo TFLite, que son opcionales, pero muy recomendables.
La API admite modelos con un tensor de entrada de imagen y uno o más tensores de salida. Para ser más específicos, estos son los requisitos.
- Tensor de imagen de entrada (
kTfLiteUInt8
/kTfLiteFloat32
)- entrada de imagen de tamaño
[batch x height x width x channels]
. - no se admite la inferencia por lotes (se requiere que
batch
sea 1). - Solo se admiten entradas RGB (se requiere que
channels
sea 3). - Si el tipo es kTfLiteFloat32, es necesario adjuntar NormalizationOptions a los metadatos para la normalización de entrada.
- entrada de imagen de tamaño
- Al menos un tensor de salida (
kTfLiteUInt8
/kTfLiteFloat32
) con la forma[1 x N]
, en la que N es la cantidad de dimensiones en las incorporaciones producidas.
Categorías anidadas
clase | ImageEmbedder.ImageEmbedderOptions | Opciones para la configuración y ImageEmbedder . |
Métodos públicos
doble estático |
cosineSimilarity(Incorporación, Incorporación)
Es la función de utilidad para calcular la similitud coseno entre dos objetos
Embedding . |
ImageEmbedder estático |
createFromBuffer(contexto de contexto, modelBuffer de ByteBuffer)
Crea una instancia
ImageEmbedder a partir de un búfer de modelo y ImageEmbedder.ImageEmbedderOptions predeterminado. |
ImageEmbedder estático |
createFromFile(contexto de contexto, String modelPath)
Crea una instancia
ImageEmbedder a partir de un archivo de modelo y ImageEmbedder.ImageEmbedderOptions predeterminado. |
ImageEmbedder estático |
createFromFile(contexto de contexto, Archivo modelFile)
Crea una instancia
ImageEmbedder a partir de un archivo de modelo y ImageEmbedder.ImageEmbedderOptions predeterminado. |
ImageEmbedder estático |
createFromOptions(contexto de contexto, opciones ImageEmbedder.ImageEmbedderOptions)
Crea una instancia
ImageEmbedder a partir de una instancia ImageEmbedder.ImageEmbedderOptions . |
ImageEmbedderResult |
embed(imagen MPImage, ImageProcessingOptions imageProcessingOptions)
Realiza una extracción de incorporación en la imagen única proporcionada.
|
ImageEmbedderResult | |
void |
embedAsync(imagen MPImage, ImageProcessingOptions imageProcessingOptions, marcas de tiempo largas)
Envía datos de imágenes en vivo para realizar la extracción de incorporaciones y los resultados estarán disponibles a través del
OutputHandler.ResultListener proporcionado en ImageEmbedder.ImageEmbedderOptions . |
void |
embedAsync(imagen MPImage, timestampMs largo)
Envía datos de imágenes en vivo para realizar una extracción de incorporaciones con las opciones de procesamiento de imágenes predeterminadas,
es decir.
|
ImageEmbedderResult |
embedForVideo(imagen MPImage, ImageProcessingOptions imageProcessingOptions, marca de tiempo largaMs)
Realiza una extracción de incorporación en el fotograma de video proporcionado.
|
ImageEmbedderResult |
embedForVideo(imagen MPImage, marcas de tiempo largas)
Realiza una extracción de incorporación en el fotograma de video proporcionado con las opciones de procesamiento de imágenes
predeterminadas, es decir.
|
Métodos heredados
Métodos públicos
público estático doble cosineSimilarity (Incorporación u, Incorporación v)
Es la función de utilidad para calcular la similitud coseno entre dos objetos Embedding
.
Parámetros
u | |
---|---|
v |
Arroja
IllegalArgumentException | si las incorporaciones son de diferentes tipos (flotante frente a cuantificada), tienen diferentes tamaños o tienen una norma L2 de 0. |
---|
publica estática estática ImageEmbedder createFromBuffer (contexto de contexto, ByteBuffer modelBuffer)
Crea una instancia ImageEmbedder
a partir de un búfer de modelo y ImageEmbedder.ImageEmbedderOptions
predeterminado.
Parámetros
Contexto | un ERROR(/Context) de Android |
---|---|
modelBuffer | un ByteBuffer directo o un ERROR(/MappedByteBuffer) del modelo de incorporación. |
Arroja
Si se produce un error durante la creación de ImageEmbedder .
|
publica estática estática ImageEmbedder createFromFile (contexto de contexto, String modelPath)
Crea una instancia ImageEmbedder
a partir de un archivo de modelo y ImageEmbedder.ImageEmbedderOptions
predeterminado.
Parámetros
Contexto | un ERROR(/Context) de Android |
---|---|
modelPath | ruta de acceso al modelo de incorporación en los recursos. |
Arroja
Si se produce un error durante la creación de ImageEmbedder .
|
público estático ImageEmbedder createFromFile (contexto de contexto, Archivo modelFile)
Crea una instancia ImageEmbedder
a partir de un archivo de modelo y ImageEmbedder.ImageEmbedderOptions
predeterminado.
Parámetros
Contexto | un ERROR(/Context) de Android |
---|---|
modelFile | la instancia del modelo de incorporación File . |
Arroja
IOException | si se produce un error de E/S cuando se abre el archivo del modelo de tflite. |
---|---|
Si se produce un error durante la creación de ImageEmbedder .
|
estática pública ImageEmbedder createFromOptions (contexto de contexto, opciones de ImageEmbedder.ImageEmbedderOptions)
Crea una instancia ImageEmbedder
a partir de una instancia ImageEmbedder.ImageEmbedderOptions
.
Parámetros
Contexto | un ERROR(/Context) de Android |
---|---|
Opciones | una instancia de ImageEmbedder.ImageEmbedderOptions . |
Arroja
Si se produce un error durante la creación de ImageEmbedder .
|
public ImageEmbedderResult embed (MPImage imagen, ImageProcessingOptions imageProcessingOptions)
Realiza una extracción de incorporación en la imagen única proporcionada. Usa este método solo cuando
se cree el ImageEmbedder
con ERROR(/RunningMode.IMAGE)
.
ImageEmbedder
admite los siguientes tipos de espacios de color:
Parámetros
imagen | un objeto MPImage de MediaPipe para su procesamiento |
---|---|
imageProcessingOptions | ImageProcessingOptions que especifica cómo procesar la imagen de entrada antes de ejecutar la inferencia. |
Arroja
si se produce un error interno. |
public ImageEmbedderResult embed (MPImage imagen)
Realiza una extracción de incorporaciones en la imagen única proporcionada con las opciones de procesamiento de imagen predeterminadas, es decir, el uso de toda la imagen como región de interés y sin ninguna rotación.
Usa este método solo cuando se cree el ImageEmbedder
con ERROR(/RunningMode.IMAGE)
.
ImageEmbedder
admite los siguientes tipos de espacios de color:
Parámetros
imagen | un objeto MPImage de MediaPipe para su procesamiento |
---|
Arroja
si se produce un error interno. |
public void embedAsync (imagen de MPImage, ImageProcessingOptions imageProcessingOptions, de la marca de tiempo larga)
Envía datos de imágenes en vivo para realizar la extracción de incorporaciones y los resultados estarán disponibles a través del OutputHandler.ResultListener
proporcionado en ImageEmbedder.ImageEmbedderOptions
. Usa este método solo cuando se cree el ImageEmbedder
con ERROR(/RunningMode.LIVE_STREAM)
.
Se debe proporcionar una marca de tiempo (en milisegundos) para indicar cuándo se envía la imagen de entrada al detector de objetos. Las marcas de tiempo de entrada deben aumentar monótonamente.
ImageEmbedder
admite los siguientes tipos de espacios de color:
Parámetros
imagen | un objeto MPImage de MediaPipe para su procesamiento |
---|---|
imageProcessingOptions | ImageProcessingOptions que especifica cómo procesar la imagen de entrada antes de ejecutar la inferencia. |
timestampMs | la marca de tiempo de entrada (en milisegundos). |
Arroja
si se produce un error interno. |
public void embedAsync (imagen MPImage, timestampMs largo)
Envía datos de imágenes en vivo para realizar la extracción de incorporación con opciones de procesamiento de imágenes predeterminadas (es decir, mediante el uso de toda la imagen como la región de interés y sin ninguna rotación). Los resultados estarán disponibles a través del OutputHandler.ResultListener
proporcionado en ImageEmbedder.ImageEmbedderOptions
. Usa este método solo cuando se cree el ImageEmbedder
con ERROR(/RunningMode.LIVE_STREAM)
.
Se debe proporcionar una marca de tiempo (en milisegundos) para indicar cuándo se envía la imagen de entrada al detector de objetos. Las marcas de tiempo de entrada deben aumentar monótonamente.
ImageEmbedder
admite los siguientes tipos de espacios de color:
Parámetros
imagen | un objeto MPImage de MediaPipe para su procesamiento |
---|---|
timestampMs | la marca de tiempo de entrada (en milisegundos). |
Arroja
si se produce un error interno. |
public ImageEmbedderResult embedForVideo (MPImage imagen, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Realiza una extracción de incorporación en el fotograma de video proporcionado. Usa este método solo cuando se cree el ImageEmbedder
con ERROR(/RunningMode.VIDEO)
.
Es obligatorio proporcionar la marca de tiempo del fotograma del video (en milisegundos). Las marcas de tiempo de entrada deben aumentar de forma monótona.
ImageEmbedder
admite los siguientes tipos de espacios de color:
Parámetros
imagen | un objeto MPImage de MediaPipe para su procesamiento |
---|---|
imageProcessingOptions | ImageProcessingOptions que especifica cómo procesar la imagen de entrada antes de ejecutar la inferencia. |
timestampMs | la marca de tiempo de entrada (en milisegundos). |
Arroja
si se produce un error interno. |
public ImageEmbedderResult embedForVideo (MPImage imagen, timestampMs largo)
Realiza una extracción de incorporación en el fotograma de video proporcionado con opciones de procesamiento de imágenes predeterminadas, es decir, usando toda la imagen como región de interés y sin ninguna rotación.
Usa este método solo cuando se cree el ImageEmbedder
con ERROR(/RunningMode.VIDEO)
.
Es obligatorio proporcionar la marca de tiempo del fotograma del video (en milisegundos). Las marcas de tiempo de entrada deben aumentar de forma monótona.
ImageEmbedder
admite los siguientes tipos de espacios de color:
Parámetros
imagen | un objeto MPImage de MediaPipe para su procesamiento |
---|---|
timestampMs | la marca de tiempo de entrada (en milisegundos). |
Arroja
si se produce un error interno. |