Dowiedz się więcej o zapowiedziach Google AI Edge z konferencji I/O.

Ta strona została przetłumaczona przez Cloud Translation API.

ImageEmbedder

publiczna klasa końcowego ImageEmbedder

Przeprowadza wyodrębnianie osadzone na obrazach.

Interfejs API oczekuje modelu TFLite z opcjonalnymi, ale zdecydowanie zalecanymi metadanymi modelu TFLite.

Interfejs API obsługuje modele z 1 tensorem wejściowym obrazu i co najmniej 1 tensorem wyjściowym. Oto wymagania.

Tensor obrazu wejściowego (kTfLiteUInt8/kTfLiteFloat32)
- obraz o rozmiarze [batch x height x width x channels].
- wnioskowanie zbiorcze nie jest obsługiwane (wartość batch musi wynosić 1).
- obsługiwane są tylko wejścia RGB (wartość channels musi wynosić 3).
- W przypadku typu kTfLiteFloat32 do metadanych należy dołączyć atrybut NormalizationOptions w celu normalizacji danych wejściowych.
Co najmniej jeden tensor wyjściowy (kTfLiteUInt8/kTfLiteFloat32) o kształcie [1 x N], gdzie N to liczba wymiarów w utworzonych wektorach dystrybucyjnych.

Zagnieżdżone klasy

klasa ImageEmbedder.ImageEmbedderOptions Opcje konfiguracji i usługi ImageEmbedder.

Metody publiczne

podwójne statyczne	cosineSimilarity(Umieszczanie u, Umieszczanie v) Funkcja użytkowa do obliczania podobieństwa cosinusowego między 2 obiektami `Embedding`.
static ImageEmbedder	createFromBuffer(kontekst kontekst, ByteBuffer modelBuffer) Tworzy instancję `ImageEmbedder` z bufora modelu i domyślnej wartości `ImageEmbedder.ImageEmbedderOptions`.
static ImageEmbedder	createFromFile(Kontekst; ciąg znaków modelPath) Tworzy instancję `ImageEmbedder` z pliku modelu i domyślny element `ImageEmbedder.ImageEmbedderOptions`.
static ImageEmbedder	createFromFile(kontekst; plik modelFile) Tworzy instancję `ImageEmbedder` z pliku modelu i domyślny element `ImageEmbedder.ImageEmbedderOptions`.
static ImageEmbedder	createFromOptions(Kontekst; opcje ImageEmbedder.ImageEmbedderOptions) Tworzy instancję `ImageEmbedder` z instancji `ImageEmbedder.ImageEmbedderOptions`.
ImageEmbedderResult	embed(obraz MPImage, opcje przetwarzania obrazu ImageProcessingOptions) Przeprowadza wyodrębnianie osadzone na podanym pojedynczym obrazie.
ImageEmbedderResult	embed(obraz MPImage) Przeprowadza wyodrębnianie osadzone na przesłanym pojedynczym obrazie z domyślnymi opcjami przetwarzania obrazu, tj.
void	embedAsync(obraz MPImage, ImageProcessingOptions imageProcessingOptions, długi timestampMs) Wysyła dane bieżących obrazów w celu wyodrębnienia umieszczania, a wyniki będą dostępne za pomocą metody `OutputHandler.ResultListener` podanej w interfejsie `ImageEmbedder.ImageEmbedderOptions`.
void	embedAsync(obraz MPImage, długie sygnatury czasowe) Wysyła dane aktywnego obrazu w celu wyodrębnienia reprezentacji właściwościowych z użyciem domyślnych opcji przetwarzania obrazu, np.
ImageEmbedderResult	embedForVideo(obraz MPImage, ImageProcessingOptions imageProcessingOptions, długi timestampMs) Przeprowadza wyodrębnianie osadzone w podanej ramce wideo.
ImageEmbedderResult	embedForVideo(obraz MPImage, długie sygnatury czasowe) Przeprowadza wyodrębnianie osadzone w podanej ramce wideo z domyślnymi opcjami przetwarzania obrazu, tj.

Metody dziedziczone

Z klasy com.google.mediapipe.tasks.vision.core.BaseVisionTaskApi

void	close() Zamyka i czyści zadanie wizualne MediaPipe.
statyczny długi czas trwania	generateResultTimestampMs(RunningMode runningMode, pakiet SDK) Generuje sygnaturę czasową obiektu wyniku zadania wizyjnego z trybu działania zadania wizyjnego i pakietu wyjściowego.

Z klasy java.lang.Object

boolean	równa się(Object arg0)
final Class<?>	getClass()
int	hashCode()
final void	notify()
final void	notifyAll()
String	toString()
final void	wait(long arg0, int arg1)
final void	wait(long arg0)
final void	czas()

Z interfejsu java.lang.AutoCloseable

abstrakcja void

close()

Metody publiczne

public static double cosineSimilarity (Umieszczanie u, Umieszczanie v)

Funkcja użytkowa do obliczania podobieństwa cosinusowego między 2 obiektami Embedding.

Parametry

U
v

Rzuty

IllegalArgumentException	gdy wektory dystrybucyjne są różnego typu (zmiennoprzecinkowe lub skwantyzowane), mają różne rozmiary lub normę L2 równą 0.

public static ImageEmbedder createFromBuffer (Kontekst kontekstu, ByteBuffer modelBuffer)

Tworzy instancję ImageEmbedder z bufora modelu i domyślnej wartości ImageEmbedder.ImageEmbedderOptions.

Parametry

sytuacja	`ERROR(/Context)` na Androidzie.
modelBuffer	bezpośredni `ByteBuffer` lub `ERROR(/MappedByteBuffer)` modelu umieszczania.

Rzuty

	jeśli podczas tworzenia zbioru danych `ImageEmbedder` wystąpi błąd.

public static ImageEmbedder createFromFile (Kontekst kontekst, String modelPath)

Tworzy instancję ImageEmbedder z pliku modelu i domyślny element ImageEmbedder.ImageEmbedderOptions.

Parametry

sytuacja	`ERROR(/Context)` na Androidzie.
modelPath	do modelu umieszczania w zasobach.

Rzuty

	jeśli podczas tworzenia zbioru danych `ImageEmbedder` wystąpi błąd.

public static ImageEmbedder createFromFile (Kontekst kontekstu, Plik modelFile)

Tworzy instancję ImageEmbedder z pliku modelu i domyślny element ImageEmbedder.ImageEmbedderOptions.

Parametry

sytuacja	`ERROR(/Context)` na Androidzie.
modelFile	z instancją modelu umieszczania `File`.

Rzuty

IOException	jeśli podczas otwierania pliku modelu tflite wystąpi błąd wejścia-wyjścia.
	jeśli podczas tworzenia zbioru danych `ImageEmbedder` wystąpi błąd.

public static ImageEmbedder createFromOptions (Kontekst kontekst, opcje ImageEmbedder.ImageEmbedderOptions)

Tworzy instancję ImageEmbedder z instancji ImageEmbedder.ImageEmbedderOptions.

Parametry

sytuacja	`ERROR(/Context)` na Androidzie.
Opcje	instancję `ImageEmbedder.ImageEmbedderOptions`.

Rzuty

	jeśli podczas tworzenia zbioru danych `ImageEmbedder` wystąpi błąd.

public ImageEmbedderResult embed (obraz MPImage, ImageProcessingOptions imageProcessingOptions)

Przeprowadza wyodrębnianie osadzone na podanym pojedynczym obrazie. Używaj tej metody tylko wtedy, gdy obiekt ImageEmbedder został utworzony za pomocą ERROR(/RunningMode.IMAGE).

ImageEmbedder obsługuje te typy przestrzeni kolorów:

ERROR(/Bitmap.Config.ARGB_8888)

Parametry

obraz	do przetwarzania obiektu MediaPipe `MPImage`.
imageProcessingOptions	`ImageProcessingOptions` określający sposób przetwarzania obrazu wejściowego przed uruchomieniem wnioskowania.

Rzuty

	jeśli wystąpił błąd wewnętrzny.

public ImageEmbedderResult embed (obraz MPImage)

Wykonuje wyodrębnianie osadzone na przesłanym pojedynczym obrazie z domyślnymi opcjami przetwarzania obrazu, tj. wykorzystują cały obraz jako interesujący Cię region bez zastosowania rotacji. Używaj tej metody tylko wtedy, gdy tworzony jest ImageEmbedder za pomocą ERROR(/RunningMode.IMAGE).

ImageEmbedder obsługuje te typy przestrzeni kolorów:

ERROR(/Bitmap.Config.ARGB_8888)

Parametry

obraz	do przetwarzania obiektu MediaPipe `MPImage`.

Rzuty

	jeśli wystąpił błąd wewnętrzny.

public void embedAsync (obraz MPImage, ImageProcessingOptions imageProcessingOptions, długi timestampMs)

Wysyła dane bieżących obrazów w celu wyodrębnienia umieszczania, a wyniki będą dostępne za pomocą metody OutputHandler.ResultListener podanej w interfejsie ImageEmbedder.ImageEmbedderOptions. Używaj tej metody tylko wtedy, gdy ImageEmbedder zostaje utworzony za pomocą ERROR(/RunningMode.LIVE_STREAM).

Podanie sygnatury czasowej (w milisekundach), która wskazuje, kiedy obraz wejściowy jest wysyłany do detektora obiektów, jest wymagany. Podane sygnatury czasowe muszą rosnąć monotonicznie.

ImageEmbedder obsługuje te typy przestrzeni kolorów:

ERROR(/Bitmap.Config.ARGB_8888)

Parametry

obraz	do przetwarzania obiektu MediaPipe `MPImage`.
imageProcessingOptions	`ImageProcessingOptions` określający sposób przetwarzania obrazu wejściowego przed uruchomieniem wnioskowania.
timestampMs	wejściową sygnaturę czasową (w milisekundach).

Rzuty

	jeśli wystąpił błąd wewnętrzny.

public void embedAsync (obraz MPImage, długie sygnatura czasowa)

Wysyła dane aktywnego obrazu w celu wyodrębnienia reprezentacji właściwościowej z domyślnymi opcjami przetwarzania obrazu, tj.wykorzystanie całego obrazu jako odpowiedniego regionu bez zastosowania rotacji. Wyniki będą dostępne za pomocą funkcji OutputHandler.ResultListener podanej w funkcji ImageEmbedder.ImageEmbedderOptions. Używaj tej metody tylko wtedy, gdy obiekt ImageEmbedder został utworzony za pomocą ERROR(/RunningMode.LIVE_STREAM).

Podanie sygnatury czasowej (w milisekundach), która wskazuje, kiedy obraz wejściowy jest wysyłany do detektora obiektów, jest wymagany. Podane sygnatury czasowe muszą rosnąć monotonicznie.

ImageEmbedder obsługuje te typy przestrzeni kolorów:

ERROR(/Bitmap.Config.ARGB_8888)

Parametry

obraz	do przetwarzania obiektu MediaPipe `MPImage`.
timestampMs	wejściową sygnaturę czasową (w milisekundach).

Rzuty

	jeśli wystąpił błąd wewnętrzny.

public ImageEmbedderResult embedForVideo (obraz MPImage, ImageProcessingOptions imageProcessingOptions, long timestampMs)

Przeprowadza wyodrębnianie osadzone w podanej ramce wideo. Używaj tej metody tylko wtedy, gdy tworzony jest ImageEmbedder za pomocą ERROR(/RunningMode.VIDEO).

Wymagane jest podanie sygnatury czasowej klatki wideo (w milisekundach). Wejściowe sygnatury czasowe muszą rosnąć monotonicznie.

ImageEmbedder obsługuje te typy przestrzeni kolorów:

ERROR(/Bitmap.Config.ARGB_8888)

Parametry

obraz	do przetwarzania obiektu MediaPipe `MPImage`.
imageProcessingOptions	`ImageProcessingOptions` określający sposób przetwarzania obrazu wejściowego przed uruchomieniem wnioskowania.
timestampMs	wejściową sygnaturę czasową (w milisekundach).

Rzuty

	jeśli wystąpił błąd wewnętrzny.

public ImageEmbedderResult embedForVideo (obraz MPImage, długie sygnatura czasowa)

Przeprowadza wyodrębnianie osadzone w podanej ramce wideo z domyślnymi opcjami przetwarzania obrazu, tj. wykorzystuje cały obraz jako interesujący Cię region bez zastosowania rotacji. Używaj tej metody tylko wtedy, gdy tworzony jest ImageEmbedder za pomocą ERROR(/RunningMode.VIDEO).

Wymagane jest podanie sygnatury czasowej klatki wideo (w milisekundach). Wejściowe sygnatury czasowe muszą rosnąć monotonicznie.

ImageEmbedder obsługuje te typy przestrzeni kolorów:

ERROR(/Bitmap.Config.ARGB_8888)

Parametry

obraz	do przetwarzania obiektu MediaPipe `MPImage`.
timestampMs	wejściową sygnaturę czasową (w milisekundach).

Rzuty

	jeśli wystąpił błąd wewnętrzny.