מבצע חילוץ הטמעה מתמונות.
ה-API מצפה למודל TFLite עם מטא-נתונים של מודל TFLite, אופציונליים, אבל מומלצים מאוד.
ה-API תומך במודלים עם tensor אחד של קלט תמונה ומדד פלט אחד או יותר. כדי להיות יותר ספציפיים, אלה הדרישות.
- קלט תמונה tensor (
kTfLiteUInt8/kTfLiteFloat32)- קלט תמונה בגודל
[batch x height x width x channels]. - אין תמיכה בהסקה באצווה (
batchחייב להיות 1). - נתמכים רק כניסות RGB (הערך
channelsצריך להיות 3). - אם הסוג הוא kTfLiteFloat32, יש לצרף את NormalizationOptions למטא-נתונים כדי לנרמל את הקלט.
- קלט תמונה בגודל
- לפחות tensor פלט אחד (
kTfLiteUInt8/kTfLiteFloat32) עם צורה[1 x N]כאשר N הוא מספר הממדים בהטמעות שנוצרו.
מחלקות מקננות
| מחלקה | ImageEmbedder.ImageEmbedderOptions | אפשרויות להגדרה ו-ImageEmbedder. |
|
שיטות ציבוריות
| סטטי כפול |
cosineSimilarity(הטמעה u, הטמעה v)
פונקציית עזר לחישוב דמיון
קוסינוס בין שני אובייקטים מסוג
Embedding. |
| סטטי ImageEmbedder |
createFromBuffer(הקשר הקשר, ByteBuffer modelBuffer)
יצירת מכונה של
ImageEmbedder ממאגר נתונים זמני וברירת המחדל ImageEmbedder.ImageEmbedderOptions. |
| סטטי ImageEmbedder |
createFromFile(Context context, String modelPath)
יצירת מופע של
ImageEmbedder מקובץ מודל וברירת המחדל של ImageEmbedder.ImageEmbedderOptions. |
| סטטי ImageEmbedder |
createFromFile(הקשר Context, File modelFile)
יצירת מופע של
ImageEmbedder מקובץ מודל וברירת המחדל של ImageEmbedder.ImageEmbedderOptions. |
| סטטי ImageEmbedder |
createFromOptions(הקשר Context, ImageEmbedder.ImageEmbedderOptions)
יצירת מכונה של
ImageEmbedder ממכונה של ImageEmbedder.ImageEmbedderOptions. |
| ImageEmbedderResult |
embed(MPImage image, ImageProcessingOptions image ProcessingOptions)
מבצע חילוץ הטמעה בתמונה הבודדת שסופקה.
|
| ImageEmbedderResult | |
| void |
embedAsync(תמונה מסוג MPImage, ImageProcessingOptions image ProcessingOptions, long timestampMs)
נשלחים נתוני תמונה בזמן אמת לביצוע חילוץ הטמעה, והתוצאות יהיו זמינות דרך
OutputHandler.ResultListener שסופק ב-ImageEmbedder.ImageEmbedderOptions. |
| void |
embedAsync(תמונה מסוג MPImage, long timestampMs)
שליחת נתונים של תמונה בזמן אמת לביצוע חילוץ הטמעה עם אפשרויות עיבוד תמונה שמוגדרות כברירת מחדל,
כלומר
|
| ImageEmbedderResult |
embedForVideo(תמונת MPImage, ImageProcessingOptions image ProcessingOptions, long timestampMs)
מבצע חילוץ הטמעה בפריים הווידאו שסופק.
|
| ImageEmbedderResult |
embedForVideo(תמונת MPImage, long timestampMs)
מבצע חילוץ הטמעה בפריים הווידאו שסופק עם אפשרויות ברירת מחדל לעיבוד תמונה, כלומר
|
שיטות שעברו בירושה
שיטות ציבוריות
public סטטי כפול cosineSimilarity (הטמעה u, הטמעה v)
פונקציית עזר לחישוב דמיון
קוסינוס בין שני אובייקטים מסוג Embedding.
פרמטרים
| u | |
|---|---|
| v |
קליעות
| IllegalArgumentException | אם ההטמעות הן מסוגים שונים (float לעומת קוונטי), יש להן גדלים שונים או שיש להן נורמה L2 של 0. |
|---|
Public סטטי ImageEmbedder createFromBuffer (Contextcontext, ByteBuffer modelBuffer)
יצירת מכונה של ImageEmbedder ממאגר נתונים זמני וברירת המחדל ImageEmbedder.ImageEmbedderOptions.
פרמטרים
| context | ERROR(/Context) של Android. |
|---|---|
| modelBuffer | ByteBuffer או ERROR(/MappedByteBuffer) ישירות של מודל ההטמעה. |
קליעות
אם יש שגיאה במהלך היצירה של ImageEmbedder.
|
Public סטטי ImageEmbedder createFromFile (הקשר הקשר, String modelPath)
יצירת מופע של ImageEmbedder מקובץ מודל וברירת המחדל של ImageEmbedder.ImageEmbedderOptions.
פרמטרים
| context | ERROR(/Context) של Android. |
|---|---|
| modelPath | אל מודל ההטמעה בנכסים. |
קליעות
אם יש שגיאה במהלך היצירה של ImageEmbedder.
|
Public סטטי ImageEmbedder createFromFile (הקשר הקשר, קובץ modelFile)
יצירת מופע של ImageEmbedder מקובץ מודל וברירת המחדל של ImageEmbedder.ImageEmbedderOptions.
פרמטרים
| context | ERROR(/Context) של Android. |
|---|---|
| modelFile | את מכונת מודל ההטמעה File. |
קליעות
| IOException | אם מתרחשת שגיאת קלט/פלט בזמן פתיחה של קובץ מודל ה-tflite. |
|---|---|
אם יש שגיאה במהלך היצירה של ImageEmbedder.
|
Public סטטי ImageEmbedder createFromOptions (Contexttext, ImageEmbedder.ImageEmbedderOptions אפשרויות)
יצירת מכונה של ImageEmbedder ממכונה של ImageEmbedder.ImageEmbedderOptions.
פרמטרים
| context | ERROR(/Context) של Android. |
|---|---|
| אפשרויות | מופע של ImageEmbedder.ImageEmbedderOptions. |
קליעות
אם יש שגיאה במהלך היצירה של ImageEmbedder.
|
Public ImageEmbedderResult הטמעה (MPImage image, ImageProcessingOptions image ProcessingOptions)
מבצע חילוץ הטמעה בתמונה הבודדת שסופקה. יש להשתמש בשיטה הזו רק כשהשדה ImageEmbedder נוצר באמצעות ERROR(/RunningMode.IMAGE).
ב-ImageEmbedder יש תמיכה מהסוגים הבאים של מרחבי צבעים:
פרמטרים
| תמונה | אובייקט MPImage MediaPipe לעיבוד. |
|---|---|
| imageProcessingOptions | ImageProcessingOptions שמציין איך לעבד את
תמונת הקלט לפני הרצת ההסקה. |
קליעות
| אם אירעה שגיאה פנימית. |
public ImageEmbedderResult הטמעה (MPImage image)
מבצע חילוץ הטמעה מהתמונה הבודדת שסופקה עם אפשרויות ברירת מחדל לעיבוד תמונה, כלומר שימוש בתמונה כולה כאזור עניין ללא סיבוב.
יש להשתמש בשיטה הזו רק אם ה-ImageEmbedder נוצר באמצעות ERROR(/RunningMode.IMAGE).
ב-ImageEmbedder יש תמיכה מהסוגים הבאים של מרחבי צבעים:
פרמטרים
| תמונה | אובייקט MPImage MediaPipe לעיבוד. |
|---|
קליעות
| אם אירעה שגיאה פנימית. |
public void embedAsync (MPImage image, ImageProcessingOptions imageprocessingOptions, long timestampMs)
נשלחים נתוני תמונה בזמן אמת לביצוע חילוץ הטמעה, והתוצאות יהיו זמינות דרך
OutputHandler.ResultListener שסופק ב-ImageEmbedder.ImageEmbedderOptions. יש להשתמש בשיטה הזו
רק כשהשדה ImageEmbedder נוצר באמצעות ERROR(/RunningMode.LIVE_STREAM).
צריך לספק חותמת זמן (באלפיות שנייה) כדי לציין מתי תמונת הקלט נשלחת למזהה האובייקטים. חותמות הזמן של הקלט צריכות להיות במגמת עלייה מונוטונית.
ב-ImageEmbedder יש תמיכה מהסוגים הבאים של מרחבי צבעים:
פרמטרים
| תמונה | אובייקט MPImage MediaPipe לעיבוד. |
|---|---|
| imageProcessingOptions | ImageProcessingOptions שמציין איך לעבד את
תמונת הקלט לפני הרצת ההסקה. |
| timestampMs | את חותמת הזמן של הקלט (באלפיות שנייה). |
קליעות
| אם אירעה שגיאה פנימית. |
public void embedAsync (MPImage image, long timestampMs)
שולחת נתונים של תמונה בזמן אמת לביצוע חילוץ הטמעה עם אפשרויות ברירת מחדל לעיבוד תמונות,
כלומר, שימוש בתמונה כולה כאזור עניין ללא הפעלת סיבוב, והתוצאות יהיו זמינות דרך OutputHandler.ResultListener שסופק ב-ImageEmbedder.ImageEmbedderOptions. יש להשתמש בשיטה הזו רק אם השדה ImageEmbedder נוצר באמצעות
ERROR(/RunningMode.LIVE_STREAM).
צריך לספק חותמת זמן (באלפיות שנייה) כדי לציין מתי תמונת הקלט נשלחת למזהה האובייקטים. חותמות הזמן של הקלט צריכות להיות במגמת עלייה מונוטונית.
ב-ImageEmbedder יש תמיכה מהסוגים הבאים של מרחבי צבעים:
פרמטרים
| תמונה | אובייקט MPImage MediaPipe לעיבוד. |
|---|---|
| timestampMs | את חותמת הזמן של הקלט (באלפיות שנייה). |
קליעות
| אם אירעה שגיאה פנימית. |
Public ImageEmbedderResult embedForVideo (MPImage image, ImageProcessingOptions image ProcessingOptions, long timestampMs)
מבצע חילוץ הטמעה בפריים הווידאו שסופק. יש להשתמש בשיטה הזו רק אם ה-ImageEmbedder נוצר באמצעות ERROR(/RunningMode.VIDEO).
ההרשאה נדרשת לספק את חותמת הזמן של הפריים בסרטון (באלפיות השנייה). חותמות הזמן של הקלט צריכות לעלות באופן מונוטוני.
ב-ImageEmbedder יש תמיכה מהסוגים הבאים של מרחבי צבעים:
פרמטרים
| תמונה | אובייקט MPImage MediaPipe לעיבוד. |
|---|---|
| imageProcessingOptions | ImageProcessingOptions שמציין איך לעבד את
תמונת הקלט לפני הרצת ההסקה. |
| timestampMs | את חותמת הזמן של הקלט (באלפיות שנייה). |
קליעות
| אם אירעה שגיאה פנימית. |
Public ImageEmbedderResult embedForVideo (MPImage image, long timestampMs)
מבצע חילוץ הטמעה בפריים הווידאו שסופק עם אפשרויות עיבוד התמונה המוגדרות כברירת מחדל, כלומר שימוש בתמונה כולה כאזור עניין ללא צורך בסיבוב.
יש להשתמש בשיטה הזו רק אם ה-ImageEmbedder נוצר באמצעות ERROR(/RunningMode.VIDEO).
ההרשאה נדרשת לספק את חותמת הזמן של הפריים בסרטון (באלפיות השנייה). חותמות הזמן של הקלט צריכות לעלות באופן מונוטוני.
ב-ImageEmbedder יש תמיכה מהסוגים הבאים של מרחבי צבעים:
פרמטרים
| תמונה | אובייקט MPImage MediaPipe לעיבוד. |
|---|---|
| timestampMs | את חותמת הזמן של הקלט (באלפיות שנייה). |
קליעות
| אם אירעה שגיאה פנימית. |