این صفحه به شما نشان می دهد که چگونه محیط توسعه خود را برای استفاده از MediaPipe Tasks در برنامه های Android خود تنظیم کنید.
دستگاه ها و پلتفرم های پشتیبانی شده
برای ایجاد برنامه های اندروید با MediaPipe Tasks، محیط توسعه شما به موارد زیر نیاز دارد:
- Android Studio با نسخه توصیه شده حداقل 2021.1.1 (Bumblebee) یا IDE سازگار دیگری.
- Android SDK نسخه 24 یا بالاتر
- دستگاه Android با حداقل نسخه SDK. ممکن است شبیه ساز اندروید برای همه کارها کار نکند.
راه اندازی محیط توسعه دهنده
قبل از اجرای یک وظیفه MediaPipe در یک برنامه اندروید، باید یا یک برنامه موجود داشته باشید یا یک پروژه Android Studio جدید در دستگاه محلی خود ایجاد کنید. MediaPipe در لایه داده برنامه شما قرار می گیرد که حاوی داده های برنامه و منطق تجاری است. برای اطلاعات بیشتر در مورد معماری برنامه اندروید، به راهنمای معماری برنامه مراجعه کنید.
راه اندازی دستگاه اندروید
قبل از استفاده از دستگاه اندرویدی فیزیکی، باید گزینههای برنامهنویس و اشکالزدایی USB را فعال کنید. برای دستورالعملهای مربوط به پیکربندی دستگاه خود با گزینههای برنامهنویس، به پیکربندی گزینههای برنامهنویس روی دستگاه مراجعه کنید.
برای کارهایی که نیازی به دوربین یا میکروفون دستگاه ندارند، میتوانید به جای دستگاه اندروید فیزیکی از شبیهساز دستگاه Android استفاده کنید. برای دستورالعملهای مربوط به راهاندازی شبیهساز Android، به اجرای برنامهها در شبیهساز Android مراجعه کنید.
تنظیم کد نمونه
مخزن MediaPipe Examples شامل نمونه برنامه های Android برای هر وظیفه MediaPipe است. می توانید یک پروژه از کد مثال ایجاد کنید، پروژه را بسازید و سپس آن را اجرا کنید.
برای وارد کردن و ساخت نمونه پروژه کد:
- Android Studio را راه اندازی کنید.
- از Android Studio، File > New > Import Project را انتخاب کنید.
- به فهرست کد مثال حاوی فایل
build.gradle
بروید و آن دایرکتوری را انتخاب کنید، برای مثال:.../mediapipe/examples/text_classification/android/build.gradle
- اگر Android Studio درخواست Gradle Sync کرد، OK را انتخاب کنید.
- مطمئن شوید که دستگاه اندرویدی شما به رایانه شما متصل است و حالت توسعه دهنده فعال است. روی فلش سبز
Run
کلیک کنید.
اگر دایرکتوری صحیح را انتخاب کنید، Android Studio یک پروژه جدید ایجاد می کند و آن را می سازد. این فرآیند بسته به سرعت کامپیوتر شما و اگر از اندروید استودیو برای پروژه های دیگر استفاده کرده اید، ممکن است چند دقیقه طول بکشد. پس از اتمام ساخت، Android Studio یک پیام BUILD SUCCESSFUL
در پانل وضعیت Build Output نمایش می دهد.
برای اجرای پروژه:
- از Android Studio، پروژه را با انتخاب Run > Run… اجرا کنید.
- یک دستگاه اندروید (یا شبیه ساز) متصل را برای آزمایش برنامه انتخاب کنید.
وابستگی های MediaPipe Tasks
MediaPipe Tasks سه کتابخانه از پیش ساخته شده برای بینایی، متن، صدا فراهم می کند. فایل مدل .tflite
باید در فهرست داراییهای ماژول Android که از مدل استفاده میکند قرار داشته باشد. بسته به MediaPipe Task که توسط برنامه استفاده می شود، چشم انداز، متن یا کتابخانه صوتی را به لیست وابستگی ها در فایل build.gradle
اضافه کنید.
وظایف هوش مصنوعی مولد
کتابخانه های MediaPipe Tasks Generative AI شامل وظایفی است که تولید تصویر یا متن را مدیریت می کند. برای وارد کردن کتابخانه های هوش مصنوعی MediaPipe Tasks Generative در Android Studio، وابستگی ها را به فایل build.gradle
خود اضافه کنید.
مولد تصویر
وظیفه MediaPipe Image Generator در کتابخانه tasks-vision-image-generator
قرار دارد. وابستگی را به فایل build.gradle
خود اضافه کنید:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
LLM Inference API
وظیفه استنتاج MediaPipe LLM در کتابخانه tasks-genai
قرار دارد. وابستگی را به فایل build.gradle
خود اضافه کنید:
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
وظایف چشم انداز
کتابخانه چشم انداز MediaPipe Tasks شامل وظایفی است که ورودی های تصویر یا ویدیو را مدیریت می کند. برای وارد کردن کتابخانه چشم انداز MediaPipe Tasks در Android Studio، وابستگی های زیر را به فایل build.gradle
خود اضافه کنید:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
وظایف متنی
کتابخانه متن MediaPipe Tasks شامل وظایفی است که داده های زبان را در قالب متن مدیریت می کند. برای وارد کردن کتابخانه متن MediaPipe Tasks در Android Studio، وابستگیهای زیر را به فایل build.gradle
خود اضافه کنید:
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
وظایف صوتی
کتابخانه صوتی MediaPipe Tasks شامل وظایفی است که ورودی های صدا را مدیریت می کند. برای وارد کردن کتابخانه صوتی MediaPipe Tasks در Android Studio، وابستگیهای زیر را به فایل build.gradle
خود اضافه کنید:
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
پیکربندی BaseOptions
BaseOptions
به پیکربندی کلی MediaPipe Task API اجازه می دهد.
نام گزینه | توضیحات | ارزش های پذیرفته شده |
---|---|---|
modelAssetBuffer | محتویات فایل دارایی مدل به صورت یک ByteBuffer مستقیم یا MappedByteBuffer است. | ByteBuffer یا MappedByteBuffer به عنوان یک رشته |
modelAssetPath | مسیر مدل به فایل دارایی مدل در پوشه داراییهای برنامه Android. | مسیر فایل به صورت رشته ای |
modelAssetFileDescriptor | عدد صحیح توصیفگر فایل بومی یک فایل دارایی مدل. | عدد صحیح که توصیفگر فایل را مشخص می کند |
Delegate | شتاب سخت افزاری را از طریق نماینده دستگاه برای اجرای خط لوله MediaPipe فعال می کند. مقدار پیش فرض: CPU . | [ CPU ،GPU ] |
شتاب سخت افزاری
MediaPipe Tasks از استفاده از واحدهای پردازش گرافیکی (GPU) برای اجرای مدل های یادگیری ماشین پشتیبانی می کند. در دستگاههای اندرویدی، میتوانید با استفاده از یک نماینده، استفاده از مدلهای خود را با سرعت GPU فعال کنید. نمایندگان به عنوان درایورهای سخت افزاری MediaPipe عمل می کنند و به شما این امکان را می دهند که مدل های خود را به جای پردازنده های استاندارد CPU بر روی پردازنده های GPU اجرا کنید.
نماینده GPU را در گزینه های وظیفه از طریق BaseOptions
پیکربندی کنید:
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
عیب یابی
برای راهنمایی در مورد سؤالات فنی مرتبط با MediaPipe، از گروه بحث یا Stack Overflow برای پشتیبانی از انجمن دیدن کنید. برای گزارش اشکال یا درخواست ویژگی، مشکل را در GitHub ثبت کنید .
برای راهنمایی در تنظیم محیط توسعه Android خود، از مستندات برنامهنویس Android دیدن کنید.