งาน MediaPipe

MediaPipe Tasks มีอินเทอร์เฟซการเขียนโปรแกรมหลักของชุดโซลูชัน MediaPipe ซึ่งรวมถึงชุดไลบรารีสำหรับการทำให้โซลูชัน ML ที่เป็นนวัตกรรมใหม่ใช้งานได้ในอุปกรณ์โดยใช้โค้ดน้อยที่สุด โดยรองรับหลายแพลตฟอร์ม รวมถึง Android, เว็บ / JavaScript, Python และจะรองรับ iOS ในเร็วๆ นี้

API แบบข้ามแพลตฟอร์มที่ใช้งานง่ายและมีการกำหนดไว้อย่างดี
เรียกใช้การอนุมาน ML ด้วยโค้ดเพียง 5 บรรทัด ใช้ API ของโซลูชันที่ทรงพลังและใช้งานง่าย ใน MediaPipe Tasks เป็นองค์ประกอบพื้นฐานเพื่อสร้างฟีเจอร์ ML ของคุณเอง

โซลูชันที่ปรับแต่งได้
คุณสามารถใช้ประโยชน์ทั้งหมดที่ MediaPipe Tasks มอบให้ และปรับแต่งได้อย่างง่ายดาย โดยใช้โมเดลที่สร้างขึ้นจากข้อมูลของคุณเองผ่าน Model Maker เช่น คุณสามารถสร้างโมเดล ที่จดจำท่าทางสัมผัสที่กำหนดเองซึ่งคุณกำหนดโดยใช้ Model Maker GestureRecognizer API และนำโมเดลไปใช้งานบนแพลตฟอร์มที่ต้องการโดยใช้ Tasks GestureRecognizer API

ไปป์ไลน์ ML ประสิทธิภาพสูง
โซลูชัน ML ในอุปกรณ์ทั่วไปจะรวมบล็อก ML และบล็อกที่ไม่ใช่ ML หลายรายการเข้าด้วยกัน ซึ่งจะทำให้ประสิทธิภาพช้าลง MediaPipe Tasks มีไปป์ไลน์ ML ที่เพิ่มประสิทธิภาพพร้อมการเร่งความเร็วแบบครบวงจร ใน CPU, GPU และ TPU เพื่อตอบสนองความต้องการของกรณีการใช้งานแบบเรียลไทม์ในอุปกรณ์

แพลตฟอร์มที่รองรับ

ส่วนนี้จะแสดงภาพรวมของงาน MediaPipe สำหรับแต่ละแพลตฟอร์มที่รองรับ ดูการติดตั้งใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาเฉพาะแพลตฟอร์มสำหรับแต่ละงาน หากต้องการความช่วยเหลือในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์เพื่อใช้ MediaPipe Tasks ในแพลตฟอร์ม โปรดดูคำแนะนำในการตั้งค่าแพลตฟอร์ม

Android

API ของ Java สำหรับ Android ของ MediaPipe Tasks แบ่งออกเป็นแพ็กเกจที่ทำงาน ML ในโดเมนหลักๆ ซึ่งรวมถึงวิชันซิสเต็ม ภาษาธรรมชาติ และเสียง ต่อไปนี้คือรายการ การอ้างอิงที่คุณเพิ่มลงในโปรเจ็กต์การพัฒนาแอป Android เพื่อเปิดใช้ API เหล่านี้ได้

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
    implementation 'com.google.mediapipe:tasks-text:latest.release'
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

ดูรายละเอียดการใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาสำหรับแต่ละแพลตฟอร์ม ของแต่ละโซลูชัน ใน MediaPipe Tasks

Python

Python API ของ MediaPipe Tasks มีโมดูลหลักๆ 2-3 โมดูลสำหรับโซลูชันที่ทำงาน ML ในโดเมนหลักๆ ได้แก่ วิชันซิสเต็ม ภาษาธรรมชาติ และเสียง ต่อไปนี้เป็นคำสั่งติดตั้งและรายการการนำเข้าที่คุณเพิ่มลงในโปรเจ็กต์การพัฒนา Python เพื่อเปิดใช้ API เหล่านี้ได้

$ python -m pip install mediapipe

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio

ดูรายละเอียดการใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาสำหรับแต่ละแพลตฟอร์ม ของแต่ละโซลูชัน ใน MediaPipe Tasks

เว็บและ JavaScript

Web JavaScript API ของ MediaPipe Tasks แบ่งออกเป็นแพ็กเกจที่ทำงาน ML ในโดเมนหลักๆ ได้แก่ การมองเห็น ภาษาธรรมชาติ และเสียง ต่อไปนี้คือรายการการนำเข้าสคริปต์ที่คุณสามารถ เพิ่มลงในโปรเจ็กต์การพัฒนาเว็บและ JavaScript เพื่อเปิดใช้ API เหล่านี้

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.mjs"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

ดูรายละเอียดการใช้งานที่เฉพาะเจาะจงได้ในคำแนะนำในการพัฒนาสำหรับแต่ละแพลตฟอร์ม ของแต่ละโซลูชัน ใน MediaPipe Tasks

ข้อกำหนดในการให้บริการ

การใช้ MediaPipe Tasks หมายความว่าคุณยอมรับข้อกำหนดในการให้บริการของ MediaPipe