งาน MediaPipe

MediaPipe Tasks มอบอินเทอร์เฟซการเขียนโปรแกรมหลักของชุดโซลูชัน MediaPipe รวมถึงชุดไลบรารีสำหรับการนำโซลูชัน ML ที่ล้ำสมัยไปใช้กับอุปกรณ์ด้วยโค้ดขั้นต่ำ โดยรองรับหลายแพลตฟอร์ม เช่น Android, Web / JavaScript, Python และจะมีการรองรับสำหรับ iOS ในเร็วๆ นี้

API ข้ามแพลตฟอร์มที่ใช้งานง่ายและมีการกำหนดมาอย่างดี
ใช้การอนุมาน ML ด้วยโค้ดเพียง 5 บรรทัด ใช้ API โซลูชันที่มีประสิทธิภาพและใช้งานง่ายใน MediaPipe Tasks เป็นองค์ประกอบที่ใช้สร้างสรรค์ในการสร้างฟีเจอร์ ML ของคุณเอง

โซลูชันที่ปรับแต่งได้
คุณสามารถใช้ประโยชน์ทั้งหมดจาก MediaPipe Tasks และปรับแต่งได้ง่ายๆ โดยใช้โมเดลที่สร้างขึ้นด้วยข้อมูลของคุณเองผ่าน Model Maker ตัวอย่างเช่น คุณสามารถสร้างโมเดลที่จดจำท่าทางสัมผัสที่กำหนดเองซึ่งคุณกำหนดไว้โดยใช้ Model Maker GestureRecognizer API แล้วทำให้โมเดลใช้งานได้กับแพลตฟอร์มที่ต้องการโดยใช้ Tasks GestureRecognizer API

ไปป์ไลน์ ML ที่มีประสิทธิภาพสูง
โซลูชัน ML ในอุปกรณ์โดยทั่วไปจะรวมบล็อก ML และไม่ใช่ ML หลายรายการเข้าด้วยกันทำให้ประสิทธิภาพช้าลง MediaPipe Tasks มอบไปป์ไลน์ ML ที่เพิ่มประสิทธิภาพพร้อมการเร่งความเร็วจากต้นทางถึงปลายทางบน CPU, GPU และ TPU เพื่อตอบสนองการใช้งานในกรณีการใช้งานแบบเรียลไทม์ในอุปกรณ์แบบเรียลไทม์

แพลตฟอร์มที่รองรับ

ส่วนนี้จะแสดงภาพรวมของงาน MediaPipe สำหรับแต่ละแพลตฟอร์มที่รองรับ ดูคู่มือการพัฒนาเฉพาะแพลตฟอร์มสําหรับงานแต่ละงานได้เพื่อติดตั้งใช้งาน หากต้องการความช่วยเหลือในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์เพื่อใช้ MediaPipe Tasks บนแพลตฟอร์ม โปรดอ่านคู่มือการตั้งค่าของแพลตฟอร์ม

Android

MediaPipe Tasks Java API สำหรับ Android แบ่งออกเป็นแพ็กเกจสำหรับทำงานเกี่ยวกับแมชชีนเลิร์นนิงในโดเมนหลักๆ ซึ่งรวมถึงการมองเห็น ภาษาธรรมชาติ และเสียง ต่อไปนี้เป็นรายการทรัพยากร Dependency ที่คุณเพิ่มไปยังโปรเจ็กต์การพัฒนาแอป Android ได้เพื่อเปิดใช้ API เหล่านี้

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
    implementation 'com.google.mediapipe:tasks-text:latest.release'
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

โปรดดูรายละเอียดการติดตั้งใช้งานเฉพาะที่คู่มือการพัฒนาเฉพาะแพลตฟอร์มสําหรับแต่ละโซลูชันใน MediaPipe Tasks

Python

MediaPipe Tasks Python API มีโมดูลหลัก 2-3 รายการสำหรับโซลูชันที่ทำงานเกี่ยวกับ ML ในโดเมนหลักๆ เช่น การมองเห็น ภาษาธรรมชาติ และเสียง รายการต่อไปนี้แสดงคำสั่งติดตั้งและรายการการนำเข้าที่คุณเพิ่มไปยังโปรเจ็กต์การพัฒนา Python ได้เพื่อเปิดใช้ API เหล่านี้

$ python -m pip install mediapipe

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio

เว็บและ JavaScript

Web JavaScript API ของ MediaPipe Tasks แบ่งออกเป็นแพ็กเกจที่ดำเนินงาน ML ในโดเมนหลัก รวมถึงการมองเห็น ภาษาธรรมชาติ และเสียง ต่อไปนี้เป็นรายการการนำเข้าสคริปต์ที่คุณเพิ่มลงในโปรเจ็กต์การพัฒนาเว็บและ JavaScript เพื่อเปิดใช้ API เหล่านี้ได้

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>