ทำการจดจำท่าทางสัมผัสในรูปภาพ
API นี้ต้องใช้แพ็กเกจเนื้อหารูปแบบท่าทางสัมผัสด้วยมือก่อนฝึก หรือเป็นแพ็กเกจที่กำหนดเองที่สร้างขึ้นโดยใช้ Model Maker โปรดดู
- รูปภาพอินพุต
MPImage- รูปภาพที่การรู้จำท่าทางสัมผัสทำงาน
- เอาต์พุต GestureRecognizer Results
GestureRecognizerResult- GestureRecognizer Results ที่มีจุดสังเกตของมือ และท่าทางมือที่จดจำได้
ชั้นเรียนที่ซ้อนกัน
| คลาส | GestureRecognizer.GestureRecognizerOptions | ตัวเลือกในการตั้งค่าGestureRecognizer |
|
วิธีการสาธารณะ
| ภาพนิ่ง GestureRecognizer |
createFromBuffer(บริบทบริบท, ByteBuffer modelBuffer)
สร้างอินสแตนซ์
GestureRecognizer จากบัฟเฟอร์โมเดลและ GestureRecognizer.GestureRecognizerOptions เริ่มต้น |
| ภาพนิ่ง GestureRecognizer |
createFromFile(บริบทบริบท, String modelPath)
สร้างอินสแตนซ์
GestureRecognizer จากไฟล์โมเดลและ GestureRecognizer.GestureRecognizerOptions เริ่มต้น |
| ภาพนิ่ง GestureRecognizer |
createFromFile(บริบทบริบท, ไฟล์ modelFile)
สร้างอินสแตนซ์
GestureRecognizer จากไฟล์โมเดลและ GestureRecognizer.GestureRecognizerOptions เริ่มต้น |
| ภาพนิ่ง GestureRecognizer |
createFromOptions(บริบทบริบท, GestureRecognizer.GestureRecognizerOptionsเพื่อจดจำ)
สร้างอินสแตนซ์
GestureRecognizer จาก GestureRecognizer.GestureRecognizerOptions |
| GestureRecognizerResult | |
| GestureRecognizerResult |
recognize(รูปภาพ MPImage, ImageProcessingOptions imageProcessingOptions)
จดจำท่าทางสัมผัสในรูปภาพเดียวที่ให้ไว้
|
| void |
recognizeAsync(รูปภาพ MPImage, timestampMs นาน)
ส่งข้อมูลภาพสดเพื่อจดจำท่าทางสัมผัสด้วยตัวเลือกการประมวลผลรูปภาพเริ่มต้น เช่น
|
| void |
recognizeAsync(รูปภาพ MPImage, ImageProcessingOptions imageProcessingOptions, การประทับเวลายาว)
ส่งข้อมูลรูปภาพสดเพื่อจดจำท่าทางสัมผัส และจะดูผลการค้นหาได้ผ่านทาง
OutputHandler.ResultListener ที่ระบุไว้ใน GestureRecognizer.GestureRecognizerOptions |
| GestureRecognizerResult |
recognizeForVideo(รูปภาพ MPImage, timestampMs นาน)
จดจำท่าทางสัมผัสในเฟรมวิดีโอที่ให้มาด้วยตัวเลือกการประมวลผลรูปภาพเริ่มต้น
เช่น
|
| GestureRecognizerResult |
recognizeForVideo(รูปภาพ MPImage, ImageProcessingOptions imageProcessingOptions, Long timestampMs)
จดจำท่าทางสัมผัสบนเฟรมวิดีโอที่ให้มา
|
วิธีการที่รับช่วงมา
วิธีการสาธารณะ
สาธารณะ คงที่ GestureRecognizer createFromBuffer (บริบทบริบท, ByteBuffer modelBuffer)
สร้างอินสแตนซ์ GestureRecognizer จากบัฟเฟอร์โมเดลและ GestureRecognizer.GestureRecognizerOptions เริ่มต้น
พารามิเตอร์
| บริบท | Android ERROR(/Context) |
|---|---|
| modelBuffer | ByteBuffer โดยตรงหรือ ERROR(/MappedByteBuffer) ของโมเดลการตรวจจับ |
การขว้าง
หากเกิดข้อผิดพลาดระหว่างการสร้าง GestureRecognizer
|
สาธารณะ คงที่ GestureRecognizer createFromFile (บริบทบริบท, String modelPath)
สร้างอินสแตนซ์ GestureRecognizer จากไฟล์โมเดลและ GestureRecognizer.GestureRecognizerOptions เริ่มต้น
พารามิเตอร์
| บริบท | Android ERROR(/Context) |
|---|---|
| modelPath | เส้นทางไปยังโมเดลการจดจำท่าทางสัมผัสที่มีข้อมูลเมตาในเนื้อหา |
การขว้าง
หากเกิดข้อผิดพลาดระหว่างการสร้าง GestureRecognizer
|
สาธารณะ คงที่ GestureRecognizer createFromFile (บริบทบริบท, ไฟล์ modelFile)
สร้างอินสแตนซ์ GestureRecognizer จากไฟล์โมเดลและ GestureRecognizer.GestureRecognizerOptions เริ่มต้น
พารามิเตอร์
| บริบท | Android ERROR(/Context) |
|---|---|
| modelFile | อินสแตนซ์โมเดลการจดจำท่าทางสัมผัส File |
การขว้าง
| IOException | หากเกิดข้อผิดพลาด I/O เมื่อเปิดไฟล์โมเดล tflite |
|---|---|
หากเกิดข้อผิดพลาดระหว่างการสร้าง GestureRecognizer
|
สาธารณะ คงที่ GestureRecognizer createFromOptions (บริบทบริบท, GestureRecognizer.GestureRecognizerOptions จดจำrOptions)
สร้างอินสแตนซ์ GestureRecognizer จาก GestureRecognizer.GestureRecognizerOptions
พารามิเตอร์
| บริบท | Android ERROR(/Context) |
|---|---|
| recognizerOptions | อินสแตนซ์ GestureRecognizer.GestureRecognizerOptions |
การขว้าง
หากเกิดข้อผิดพลาดระหว่างการสร้าง GestureRecognizer
|
สาธารณะ GestureRecognizerResult recognize (รูปภาพ MPImage)
จดจำท่าทางสัมผัสในรูปภาพเดียวที่ให้มาด้วยตัวเลือกการประมวลผลรูปภาพเริ่มต้น กล่าวคือ โดยไม่ใช้การหมุนใดๆ เลย ใช้วิธีนี้เฉพาะเมื่อมีการสร้าง GestureRecognizer ด้วย ERROR(/RunningMode.IMAGE) เท่านั้น อัปเดต TODO อัปเดตเอกสาร Java สำหรับรูปแบบรูปภาพอินพุต
GestureRecognizer รองรับพื้นที่สีประเภทต่อไปนี้
พารามิเตอร์
| รูปภาพ | ออบเจ็กต์ MediaPipe MPImage สำหรับการประมวลผล |
|---|
การขว้าง
| ในกรณีที่เกิดข้อผิดพลาดภายใน |
สาธารณะ GestureRecognizerResult recognize (รูปภาพ MPImage ImageProcessingOptions imageProcessingOptions)
จดจำท่าทางสัมผัสในรูปภาพเดียวที่ให้ไว้ ใช้วิธีนี้เฉพาะเมื่อมีการสร้าง GestureRecognizer ด้วย ERROR(/RunningMode.IMAGE) เท่านั้น อัปเดต TODO อัปเดตเอกสาร Java สำหรับรูปแบบรูปภาพอินพุต
GestureRecognizer รองรับพื้นที่สีประเภทต่อไปนี้
พารามิเตอร์
| รูปภาพ | ออบเจ็กต์ MediaPipe MPImage สำหรับการประมวลผล |
|---|---|
| imageProcessingOptions | ImageProcessingOptions จะระบุวิธีประมวลผลรูปภาพอินพุตก่อนเรียกใช้การอนุมาน โปรดทราบว่างานนี้ไม่รองรับภูมิภาคที่สนใจ: การระบุ ImageProcessingOptions.regionOfInterest() จะส่งผลให้เมธอดนี้ส่ง IllegalArgumentException |
การขว้าง
| IllegalArgumentException | หาก ImageProcessingOptions ระบุภูมิภาคที่สนใจ |
|---|---|
| ในกรณีที่เกิดข้อผิดพลาดภายใน |
สาธารณะ void recognizeAsync (รูปภาพ MPImage, การประทับเวลายาว Ms)
ส่งข้อมูลรูปภาพสดเพื่อจดจำท่าทางสัมผัสด้วยตัวเลือกการประมวลผลรูปภาพเริ่มต้น กล่าวคือ ไม่ได้ใช้การหมุนใดๆ และผลการค้นหาจะพร้อมใช้งานผ่าน OutputHandler.ResultListener ที่ระบุไว้ใน GestureRecognizer.GestureRecognizerOptions ใช้วิธีนี้เฉพาะเมื่อมีการสร้าง ERROR(/GestureRecognition) ด้วย ERROR(/RunningMode.LIVE_STREAM)
ต้องระบุการประทับเวลา (เป็นมิลลิวินาที) เพื่อระบุว่ามีการส่งรูปภาพอินพุตไปยังเครื่องมือจดจำท่าทางสัมผัสเมื่อใด การประทับเวลาอินพุตต้องเพิ่มขึ้นแบบโมนาเท่านั้น
GestureRecognizer รองรับพื้นที่สีประเภทต่อไปนี้
พารามิเตอร์
| รูปภาพ | ออบเจ็กต์ MediaPipe MPImage สำหรับการประมวลผล |
|---|---|
| timestampMs | การประทับเวลาอินพุต (เป็นมิลลิวินาที) |
การขว้าง
| ในกรณีที่เกิดข้อผิดพลาดภายใน |
สาธารณะ void recognizeAsync (รูปภาพ MPImage, ImageProcessingOptions imageProcessingOptions, Long timestampMs)
ส่งข้อมูลรูปภาพสดเพื่อจดจำท่าทางสัมผัส และจะดูผลการค้นหาได้ผ่านทาง OutputHandler.ResultListener ที่ระบุไว้ใน GestureRecognizer.GestureRecognizerOptions ใช้วิธีนี้เมื่อมีการสร้าง ERROR(/GestureRecognition) ด้วย ERROR(/RunningMode.LIVE_STREAM) เท่านั้น
ต้องระบุการประทับเวลา (เป็นมิลลิวินาที) เพื่อระบุว่ามีการส่งรูปภาพอินพุตไปยังเครื่องมือจดจำท่าทางสัมผัสเมื่อใด การประทับเวลาอินพุตต้องเพิ่มขึ้นแบบโมนาเท่านั้น
GestureRecognizer รองรับพื้นที่สีประเภทต่อไปนี้
พารามิเตอร์
| รูปภาพ | ออบเจ็กต์ MediaPipe MPImage สำหรับการประมวลผล |
|---|---|
| imageProcessingOptions | ImageProcessingOptions จะระบุวิธีประมวลผลรูปภาพอินพุตก่อนเรียกใช้การอนุมาน โปรดทราบว่างานนี้ไม่รองรับภูมิภาคที่สนใจ: การระบุ ImageProcessingOptions.regionOfInterest() จะส่งผลให้เมธอดนี้ส่ง IllegalArgumentException |
| timestampMs | การประทับเวลาอินพุต (เป็นมิลลิวินาที) |
การขว้าง
| IllegalArgumentException | หาก ImageProcessingOptions ระบุภูมิภาคที่สนใจ |
|---|---|
| ในกรณีที่เกิดข้อผิดพลาดภายใน |
สาธารณะ GestureRecognizerResult recognizeForVideo (MPImage, การประทับเวลายาว Ms)
จดจำท่าทางสัมผัสบนเฟรมวิดีโอที่ระบุโดยใช้ตัวเลือกการประมวลผลรูปภาพเริ่มต้น กล่าวคือ โดยไม่ใช้การหมุนใดๆ เลย ใช้วิธีนี้เมื่อมีการสร้าง GestureRecognizer ด้วย ERROR(/RunningMode.VIDEO) เท่านั้น
และระบุการประทับเวลาของเฟรมวิดีโอ (เป็นมิลลิวินาที) การประทับเวลาอินพุตต้องเพิ่มขึ้นทีละน้อย
GestureRecognizer รองรับพื้นที่สีประเภทต่อไปนี้
พารามิเตอร์
| รูปภาพ | ออบเจ็กต์ MediaPipe MPImage สำหรับการประมวลผล |
|---|---|
| timestampMs | การประทับเวลาอินพุต (เป็นมิลลิวินาที) |
การขว้าง
| ในกรณีที่เกิดข้อผิดพลาดภายใน |
สาธารณะ GestureRecognizerResult recognizeForVideo (MPImage รูปภาพ, ImageProcessingOptions imageProcessingOptions, Long timestampMs)
จดจำท่าทางสัมผัสบนเฟรมวิดีโอที่ให้มา ใช้วิธีนี้เฉพาะเมื่อมีการสร้าง GestureRecognizer ด้วย ERROR(/RunningMode.VIDEO) เท่านั้น
และระบุการประทับเวลาของเฟรมวิดีโอ (เป็นมิลลิวินาที) การประทับเวลาอินพุตต้องเพิ่มขึ้นทีละน้อย
GestureRecognizer รองรับพื้นที่สีประเภทต่อไปนี้
พารามิเตอร์
| รูปภาพ | ออบเจ็กต์ MediaPipe MPImage สำหรับการประมวลผล |
|---|---|
| imageProcessingOptions | ImageProcessingOptions จะระบุวิธีประมวลผลรูปภาพอินพุตก่อนเรียกใช้การอนุมาน โปรดทราบว่างานนี้ไม่รองรับภูมิภาคที่สนใจ: การระบุ ImageProcessingOptions.regionOfInterest() จะส่งผลให้เมธอดนี้ส่ง IllegalArgumentException |
| timestampMs | การประทับเวลาอินพุต (เป็นมิลลิวินาที) |
การขว้าง
| IllegalArgumentException | หาก ImageProcessingOptions ระบุภูมิภาคที่สนใจ |
|---|---|
| ในกรณีที่เกิดข้อผิดพลาดภายใน |