HandLandmarker

שיעור סופי ציבורי HandLandmarker

זיהוי של ציוני דרך בידיים בתמונות.

ה-API הזה מצפה לחבילת נכסים של מודל ציוני דרך שעברו אימון מקדים. .

  • הזנת תמונה MPImage
    • התמונה שעליה פועל זיהוי ציוני הדרך של היד.
  • תוצאת HandLandmark של פלט HandLandmarkerResult
    • תוצאה של סמן ידני שמכילה ציוני דרך של ידיים.

מחלקות מקננות

מחלקה HandLandmarker.HandLandmarkerOptions אפשרויות להגדרת HandLandmarker. 

שדות

Public סטטי סופי Set<Connection> HAND_CONNECTIONS
Public סטטי סופי Set<Connection> HAND_INDEX_FINGER_CONNECTIONS
Public סטטי סופי Set<Connection> HAND_MIDDLE_FINGER_CONNECTIONS
Public סטטי סופי Set<Connection> HAND_PALM_CONNECTIONS
Public סטטי סופי Set<Connection> HAND_PINKY_FINGER_CONNECTIONS
Public סטטי סופי Set<Connection> HAND_RING_FINGER_CONNECTIONS
Public סטטי סופי Set<Connection> HAND_THUMB_CONNECTIONS

שיטות ציבוריות

סטטי HandLandmarker
createFromBuffer(הקשר הקשר, ByteBuffer modelBuffer)
יצירת מכונה של HandLandmarker ממאגר נתונים זמני של מודל וברירת המחדל HandLandmarker.HandLandmarkerOptions.
סטטי HandLandmarker
createFromFile(Context context, String modelPath)
יצירת מכונת HandLandmarker מקובץ מודל וברירת המחדל HandLandmarker.HandLandmarkerOptions.
סטטי HandLandmarker
createFromFile(הקשר Context, File modelFile)
יצירת מכונת HandLandmarker מקובץ מודל וברירת המחדל HandLandmarker.HandLandmarkerOptions.
סטטי HandLandmarker
createFromOptions(ההקשר ההקשר, HandLandmarker.HandLandmarkerOptions landmarkerOptions)
יצירת מכונה של HandLandmarker מ-HandLandmarker.HandLandmarkerOptions.
HandLandmarkerResult
detect(תמונת MPImage)
מבצע זיהוי של ציוני דרך לפי ידיים בתמונה הבודדת, עם אפשרויות ברירת מחדל לעיבוד תמונה, כלומר
HandLandmarkerResult
detect(תמונה מסוג MPImage, ImageProcessingOptions image ProcessingOptions)
מבצע זיהוי של ציוני דרך ביד בתמונה הבודדת שסופקה.
void
detectAsync(תמונה מסוג MPImage, ImageProcessingOptions image ProcessingOptions, long timestampMs)
נשלחים נתוני תמונה בזמן אמת כדי לבצע זיהוי של ציוני דרך בכף היד, והתוצאות יהיו זמינות דרך OutputHandler.ResultListener שצוין בHandLandmarker.HandLandmarkerOptions.
void
detectAsync(תמונת MPImage, long timestampMs)
שולחת נתוני תמונה חיים כדי לבצע זיהוי של ציוני דרך בכף היד עם אפשרויות עיבוד תמונה שמוגדרות כברירת מחדל, כלומר
HandLandmarkerResult
detectForVideo(תמונה מסוג MPImage, ImageProcessingOptions image ProcessingOptions, long timestampMs)
מבצע זיהוי של ציוני דרך ביד במסגרת הווידאו שסופקה.
HandLandmarkerResult
detectForVideo(תמונת MPImage, long timestampMs)
מבצע זיהוי של ציוני דרך ביד במסגרת הווידאו שסופקה עם אפשרויות עיבוד התמונה שמוגדרות כברירת מחדל, כלומר

שיטות שעברו בירושה

שדות

ציבורי סטטי סופי Set<Connection> HAND_CONNECTIONS

ציבורי סטטי סופי הגדרה<חיבור> HAND_INDEX_FINGER_CONNECTIONS

ציבורי סטטי סופי הגדרה<חיבור> HAND_MIDDLE_FINGER_CONNECTIONS

ציבורי סטטי סופי Set<Connection> HAND_PALM_CONNECTIONS

ציבורי סטטי סופי הגדרה<חיבור> HAND_PINKY_FINGER_CONNECTIONS

ציבורי סטטי סופי הגדרה<חיבור> HAND_RING_FINGER_CONNECTIONS

ציבורי סטטי סופי Set<Connection> HAND_THUMB_CONNECTIONS

שיטות ציבוריות

ציבורי סטטי HandLandmarker createFromBuffer (Contextcontext, ByteBuffer modelBuffer)

יצירת מכונה של HandLandmarker ממאגר נתונים זמני של מודל וברירת המחדל HandLandmarker.HandLandmarkerOptions.

פרמטרים
context ERROR(/Context) של Android.
modelBuffer ByteBuffer או ERROR(/MappedByteBuffer) ישירות של מודל הזיהוי.
קליעות
אם יש שגיאה במהלך היצירה של HandLandmarker.

ציבורי סטטי HandLandmarker createFromFile (הקשר הקשר, מחרוזת modelPath)

יצירת מכונת HandLandmarker מקובץ מודל וברירת המחדל HandLandmarker.HandLandmarkerOptions.

פרמטרים
context ERROR(/Context) של Android.
modelPath למודל של ציוני דרך בכף היד עם מטא-נתונים בנכסים.
קליעות
אם יש שגיאה במהלך היצירה של HandLandmarker.

ציבורי סטטי HandLandmarker createFromFile (הקשר הקשר, קובץ modelFile)

יצירת מכונת HandLandmarker מקובץ מודל וברירת המחדל HandLandmarker.HandLandmarkerOptions.

פרמטרים
context ERROR(/Context) של Android.
modelFile את מופע היד של ציוני הדרך File.
קליעות
IOException אם מתרחשת שגיאת קלט/פלט בזמן פתיחה של קובץ מודל ה-tflite.
אם יש שגיאה במהלך היצירה של HandLandmarker.

ציבורי סטטי HandLandmarker createFromOptions (הקשר לפי הקשר, HandLandmarker.HandLandmarkerOptions landmarkerOptions)

יצירת מכונה של HandLandmarker מ-HandLandmarker.HandLandmarkerOptions.

פרמטרים
context ERROR(/Context) של Android.
landmarkerOptions מופע של HandLandmarker.HandLandmarkerOptions.
קליעות
אם יש שגיאה במהלך היצירה של HandLandmarker.

Public HandLandmarkerResult detect (MPImage image)

מבצע זיהוי של ציוני דרך לפי ידיים בתמונה הבודדת שסופקה, עם אפשרויות ברירת מחדל לעיבוד תמונה, כלומר ללא סיבוב. יש להשתמש בשיטה הזו רק אם ה-HandLandmarker נוצר באמצעות ERROR(/RunningMode.IMAGE). TODO עדכן מסמך Java לפי פורמט קלט תמונה.

ב-HandLandmarker יש תמיכה מהסוגים הבאים של מרחבי צבעים:

פרמטרים
תמונה אובייקט MPImage MediaPipe לעיבוד.
קליעות
אם אירעה שגיאה פנימית.

Public HandLandmarkerResult detect (MPImage image, ImageProcessingOptions image ProcessingOptions)

מבצע זיהוי של ציוני דרך ביד בתמונה הבודדת שסופקה. יש להשתמש בשיטה הזו רק כשהשדה HandLandmarker נוצר באמצעות ERROR(/RunningMode.IMAGE). TODO עדכן מסמך Java לפורמט קלט תמונה.

ב-HandLandmarker יש תמיכה מהסוגים הבאים של מרחבי צבעים:

פרמטרים
תמונה אובייקט MPImage MediaPipe לעיבוד.
imageProcessingOptions ImageProcessingOptions שמציין איך לעבד את תמונת הקלט לפני הרצת ההסקה. שימו לב שאזור עניין (region) לא נתמך במשימה הזו: ציון הערך ImageProcessingOptions.regionOfInterest() יגרום ל-method הזה לגרום לחריגת invalidArgument.
קליעות
IllegalArgumentException אם השדה ImageProcessingOptions מציין אזור עניין.
אם אירעה שגיאה פנימית.

public void detectAsync (MPImage image, ImageProcessingOptions image ProcessingOptions, long timestampMs)

נשלחים נתוני תמונה בזמן אמת כדי לבצע זיהוי של ציוני דרך בכף היד, והתוצאות יהיו זמינות דרך OutputHandler.ResultListener שצוין בHandLandmarker.HandLandmarkerOptions. יש להשתמש בשיטה הזו רק כשהשדה HandLandmarker נוצר באמצעות ERROR(/RunningMode.LIVE_STREAM).

צריך לספק חותמת זמן (באלפיות שנייה) כדי לציין מתי תמונת הקלט נשלחת למקודד הידני. חותמות הזמן של הקלט צריכות להיות במגמת עלייה מונוטונית.

ב-HandLandmarker יש תמיכה מהסוגים הבאים של מרחבי צבעים:

פרמטרים
תמונה אובייקט MPImage MediaPipe לעיבוד.
imageProcessingOptions ImageProcessingOptions שמציין איך לעבד את תמונת הקלט לפני הרצת ההסקה. שימו לב שאזור עניין (region) לא נתמך במשימה הזו: ציון הערך ImageProcessingOptions.regionOfInterest() יגרום ל-method הזה לגרום לחריגת invalidArgument.
timestampMs את חותמת הזמן של הקלט (באלפיות שנייה).
קליעות
IllegalArgumentException אם השדה ImageProcessingOptions מציין אזור עניין.
אם אירעה שגיאה פנימית.

public void detectAsync (תמונת MPImage, long timestampMs)

שליחת נתונים של תמונות בזמן אמת כדי לבצע זיהוי של ציוני דרך בכף היד עם אפשרויות עיבוד תמונה שמוגדרות כברירת מחדל, כלומר ללא סיבוב, והתוצאות יהיו זמינות דרך OutputHandler.ResultListener בHandLandmarker.HandLandmarkerOptions. יש להשתמש בשיטה הזו רק כשהשדה HandLandmarker נוצר באמצעות ERROR(/RunningMode.LIVE_STREAM).

צריך לספק חותמת זמן (באלפיות שנייה) כדי לציין מתי תמונת הקלט נשלחת למקודד הידני. חותמות הזמן של הקלט צריכות להיות במגמת עלייה מונוטונית.

ב-HandLandmarker יש תמיכה מהסוגים הבאים של מרחבי צבעים:

פרמטרים
תמונה אובייקט MPImage MediaPipe לעיבוד.
timestampMs את חותמת הזמן של הקלט (באלפיות שנייה).
קליעות
אם אירעה שגיאה פנימית.

Public HandLandmarkerResult detectForVideo (MPImage image, ImageProcessingOptions image ProcessingOptions, long timestampMs)

מבצע זיהוי של ציוני דרך ביד במסגרת הווידאו שסופקה. יש להשתמש בשיטה הזו רק כשהשדה HandLandmarker נוצר באמצעות ERROR(/RunningMode.VIDEO).

ההרשאה נדרשת לספק את חותמת הזמן של הפריים בסרטון (באלפיות השנייה). חותמות הזמן של הקלט צריכות לעלות באופן מונוטוני.

ב-HandLandmarker יש תמיכה מהסוגים הבאים של מרחבי צבעים:

פרמטרים
תמונה אובייקט MPImage MediaPipe לעיבוד.
imageProcessingOptions ImageProcessingOptions שמציין איך לעבד את תמונת הקלט לפני הרצת ההסקה. שימו לב שאזור עניין (region) לא נתמך במשימה הזו: ציון הערך ImageProcessingOptions.regionOfInterest() יגרום ל-method הזה לגרום לחריגת invalidArgument.
timestampMs את חותמת הזמן של הקלט (באלפיות שנייה).
קליעות
IllegalArgumentException אם השדה ImageProcessingOptions מציין אזור עניין.
אם אירעה שגיאה פנימית.

Public HandLandmarkerResult detectForVideo (MPImage image, long timestampMs)

מבצע זיהוי של ציוני דרך לפי ידיים בפריים הווידאו שסופק, עם אפשרויות ברירת המחדל לעיבוד תמונה, כלומר ללא סיבוב. יש להשתמש בשיטה הזו רק אם ה-HandLandmarker נוצר באמצעות ERROR(/RunningMode.VIDEO).

ההרשאה נדרשת לספק את חותמת הזמן של הפריים בסרטון (באלפיות השנייה). חותמות הזמן של הקלט צריכות לעלות באופן מונוטוני.

ב-HandLandmarker יש תמיכה מהסוגים הבאים של מרחבי צבעים:

פרמטרים
תמונה אובייקט MPImage MediaPipe לעיבוד.
timestampMs את חותמת הזמן של הקלט (באלפיות שנייה).
קליעות
אם אירעה שגיאה פנימית.