MediaPipe Tasks มีอินเทอร์เฟซการเขียนโปรแกรมหลักของชุดโซลูชัน MediaPipe ซึ่งรวมถึงชุดไลบรารีสำหรับการทำให้โซลูชัน ML ที่เป็นนวัตกรรมใหม่ใช้งานได้ในอุปกรณ์โดยใช้โค้ดน้อยที่สุด โดยรองรับหลายแพลตฟอร์ม รวมถึง Android, เว็บ / JavaScript, Python และจะรองรับ iOS ในเร็วๆ นี้
API แบบข้ามแพลตฟอร์มที่ใช้งานง่ายและมีการกำหนดไว้อย่างดี
เรียกใช้การอนุมาน ML ด้วยโค้ดเพียง 5 บรรทัด ใช้ API ของโซลูชันที่ทรงพลังและใช้งานง่าย ใน MediaPipe Tasks เป็นองค์ประกอบพื้นฐานเพื่อสร้างฟีเจอร์ ML ของคุณเอง
โซลูชันที่ปรับแต่งได้
คุณสามารถใช้ประโยชน์ทั้งหมดที่ MediaPipe Tasks มอบให้ และปรับแต่งได้อย่างง่ายดาย
โดยใช้โมเดลที่สร้างขึ้นจากข้อมูลของคุณเองผ่าน Model
Maker เช่น คุณสามารถสร้างโมเดล
ที่จดจำท่าทางสัมผัสที่กำหนดเองซึ่งคุณกำหนดโดยใช้ Model Maker
GestureRecognizer API
และนำโมเดลไปใช้งานบนแพลตฟอร์มที่ต้องการโดยใช้ Tasks GestureRecognizer
API
ไปป์ไลน์ ML ประสิทธิภาพสูง
โซลูชัน ML ในอุปกรณ์ทั่วไปจะรวมบล็อก ML และบล็อกที่ไม่ใช่ ML หลายรายการเข้าด้วยกัน ซึ่งจะทำให้ประสิทธิภาพช้าลง
MediaPipe Tasks มีไปป์ไลน์ ML ที่เพิ่มประสิทธิภาพพร้อมการเร่งความเร็วแบบครบวงจร
ใน CPU, GPU และ TPU เพื่อตอบสนองความต้องการของกรณีการใช้งานแบบเรียลไทม์ในอุปกรณ์
แพลตฟอร์มที่รองรับ
ส่วนนี้จะแสดงภาพรวมของงาน MediaPipe สำหรับแต่ละแพลตฟอร์มที่รองรับ ดูการติดตั้งใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาเฉพาะแพลตฟอร์มสำหรับแต่ละงาน หากต้องการความช่วยเหลือในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์เพื่อใช้ MediaPipe Tasks ในแพลตฟอร์ม โปรดดูคำแนะนำในการตั้งค่าแพลตฟอร์ม
Android
API ของ Java สำหรับ Android ของ MediaPipe Tasks แบ่งออกเป็นแพ็กเกจที่ทำงาน ML ในโดเมนหลักๆ ซึ่งรวมถึงวิชันซิสเต็ม ภาษาธรรมชาติ และเสียง ต่อไปนี้คือรายการ การอ้างอิงที่คุณเพิ่มลงในโปรเจ็กต์การพัฒนาแอป Android เพื่อเปิดใช้ API เหล่านี้ได้
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
implementation 'com.google.mediapipe:tasks-text:latest.release'
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
ดูรายละเอียดการใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาสำหรับแต่ละแพลตฟอร์ม ของแต่ละโซลูชัน ใน MediaPipe Tasks
Python
Python API ของ MediaPipe Tasks มีโมดูลหลักๆ 2-3 โมดูลสำหรับโซลูชันที่ทำงาน ML ในโดเมนหลักๆ ได้แก่ วิชันซิสเต็ม ภาษาธรรมชาติ และเสียง ต่อไปนี้เป็นคำสั่งติดตั้งและรายการการนำเข้าที่คุณเพิ่มลงในโปรเจ็กต์การพัฒนา Python เพื่อเปิดใช้ API เหล่านี้ได้
$ python -m pip install mediapipe
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio
ดูรายละเอียดการใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาสำหรับแต่ละแพลตฟอร์ม ของแต่ละโซลูชัน ใน MediaPipe Tasks
เว็บและ JavaScript
Web JavaScript API ของ MediaPipe Tasks แบ่งออกเป็นแพ็กเกจที่ทำงาน ML ในโดเมนหลักๆ ได้แก่ การมองเห็น ภาษาธรรมชาติ และเสียง ต่อไปนี้คือรายการการนำเข้าสคริปต์ที่คุณสามารถ เพิ่มลงในโปรเจ็กต์การพัฒนาเว็บและ JavaScript เพื่อเปิดใช้ API เหล่านี้
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.mjs"
crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
ดูรายละเอียดการใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาสำหรับแต่ละแพลตฟอร์ม ของแต่ละโซลูชัน ใน MediaPipe Tasks
ข้อกำหนดในการให้บริการ
การใช้ MediaPipe Tasks หมายความว่าคุณยอมรับข้อกำหนดในการให้บริการของ MediaPipe