Cómo integrar usuarios que buscan imágenes

La búsqueda con imágenes permite buscar imágenes similares en una base de datos de imágenes. Integra funciona incorporando la búsqueda en un vector de alta dimensión que representa el significado semántico de la consulta, seguido de la búsqueda de similitud en un un índice predefinido personalizado con ScaNN (vecinos más cercanos escalables).

A diferencia de clasificación de imágenes, Expandir la cantidad de elementos que se pueden reconocer no requiere volver a entrenar para todo el modelo. Se pueden agregar elementos nuevos con solo volver a compilar el índice. Esto también permite trabajar con bases de datos de imágenes más grandes (más de 100,000 elementos).

Usa la API de ImageSearcher de la Biblioteca de tareas para implementar tu buscador de imágenes personalizado en tus aplicaciones móviles.

Funciones clave de la API de ImageSearcher

  • Toma una sola imagen como entrada, realiza la extracción de incorporaciones y la búsqueda de vecino más cercano en el índice.

  • Procesamiento de imágenes de entrada, incluidos la rotación, el cambio de tamaño y el espacio de color conversión.

  • Región de interés de la imagen de entrada.

Requisitos previos

Antes de usar la API de ImageSearcher, se debe compilar un índice basado en la corpus personalizado de imágenes para realizar una búsqueda. Esto se puede lograr API de Model Maker Searcher mediante el seguimiento y la adaptación de instructivo.

Para ello necesitarás lo siguiente:

Después de este paso, deberías tener un modelo de buscador de TFLite independiente (p.ej., mobilenet_v3_searcher.tflite), que es el modelo de incorporación de imágenes original con el índice adjunto en el Metadatos del modelo de TFLite.

Ejecuta inferencias en Java

Paso 1: Importa la dependencia de Gradle y otros parámetros de configuración

Copia el archivo de modelo del buscador .tflite en el directorio de recursos de Android. en el que se ejecutará el modelo. Especifica que el archivo no debe y agrega la biblioteca de TensorFlow Lite al archivo build.gradle del módulo archivo:

android {
    // Other settings

    // Specify tflite index file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-vision:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

Paso 2: Usa el modelo

// Initialization
ImageSearcherOptions options =
    ImageSearcherOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setSearcherOptions(
            SearcherOptions.builder().setL2Normalize(true).build())
        .build();
ImageSearcher imageSearcher =
    ImageSearcher.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<NearestNeighbor> results = imageSearcher.search(image);

Consulta la código fuente y javadoc si quieres obtener más opciones para configurar ImageSearcher.

Ejecuta inferencias en C++

// Initialization
ImageSearcherOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
options.mutable_embedding_options()->set_l2_normalize(true);
std::unique_ptr<ImageSearcher> image_searcher = ImageSearcher::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SearchResult result = image_searcher->Search(*frame_buffer).value();

Consulta la código fuente si quieres obtener más opciones para configurar ImageSearcher.

Ejecuta la inferencia en Python

Paso 1: Instala el paquete Pypi de asistencia de TensorFlow Lite

Puedes instalar el paquete de compatibilidad con Pypi de TensorFlow Lite con el siguiente comando: :

pip install tflite-support

Paso 2: Usa el modelo

from tflite_support.task import vision

# Initialization
image_searcher = vision.ImageSearcher.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_file)
result = image_searcher.search(image)

Consulta la código fuente si quieres obtener más opciones para configurar ImageSearcher.

Resultados de ejemplo

Results:
 Rank#0:
  metadata: burger
  distance: 0.13452
 Rank#1:
  metadata: car
  distance: 1.81935
 Rank#2:
  metadata: bird
  distance: 1.96617
 Rank#3:
  metadata: dog
  distance: 2.05610
 Rank#4:
  metadata: cat
  distance: 2.06347

Prueba lo sencillo Herramienta de demostración de la CLI para ImageSearcher con tu propio modelo y datos de prueba.