Trang này cho bạn biết cách thiết lập môi trường phát triển để sử dụng MediaPipe Việc cần làm trong ứng dụng iOS của bạn.
Thiết bị và nền tảng được hỗ trợ
Để tạo ứng dụng iOS bằng MediaPipe Tasks, môi trường phát triển của bạn yêu cầu những điều sau:
macOS Mojave 10.14.3 trở lên.
Xcode 10.3 trở lên.
Thiết bị iOS chạy iOS 12.0 trở lên. Ngoài ra, trình mô phỏng iOS có thể xử lý các ứng dụng không yêu cầu máy ảnh của thiết bị.
Thiết lập môi trường dành cho nhà phát triển
Trước khi chạy tác vụ MediaPipe trên ứng dụng iOS, bạn phải có dự án Xcode hiện có hoặc tạo một dự án mới trên máy cục bộ của bạn.
Bạn chỉ có thể cài đặt MediaPipe Tasks bằng CocoaPods. Bạn phải cài đặt CocoaPods 1.12.1 trở lên trước khi bắt đầu. Cho hướng dẫn cài đặt CocoaPods trên macOS, hãy tham khảo bài viết Cài đặt CocoaPods hướng dẫn.
Thiết lập mã ví dụ
Phương thức MediaPipe Ví dụ kho lưu trữ chứa các ứng dụng iOS mẫu cho tác vụ MediaPipe.
Bạn có thể tạo một dự án từ mã ví dụ, tạo dự án và chạy công việc. Các bước sau đây sẽ tạo Văn bản Công cụ phân loại công việc.
Cách nhập và tạo dự án mã mẫu:
Mở cửa sổ dòng lệnh, sao chép kho lưu trữ MediaPipe rồi chuyển đến thư mục chứa
TextClassifier.xcodeproj
vàPodfile
.git clone https://github.com/google-ai-edge/mediapipe-samples cd mediapipe/examples/text_classification/ios
Cài đặt MediaPipe Tasks bằng CocoaPods:
pod install
Lệnh này tạo một tệp
TextClassifier.xcworkspace
trong ví dụ thư mục dự án.Nhấp đúp vào tệp
TextClassifier.xcworkspace
để mở dự án trong Xcode. Nếu tệpTextClassifier.xcodeproj
đã mở, hãy đóng tệp đó trước khi mở tệpTextClassifier.xcworkspace
.Chọn lược đồ
TextClassifier
rồi chọn một thiết bị iOS thực hoặc từ thanh công cụ của cửa sổ dự án. Khi dùng iOS thực thiết bị, hãy đảm bảo rằng thiết bị được kết nối với máy Mac của bạn.Nhấp vào nút
Run
trên thanh công cụ của dự án.
Để biết thêm hướng dẫn về cách chạy ứng dụng trên Xcode, hãy tham khảo bài viết Tạo và chạy một ứng dụng.
Các phần phụ thuộc MediaPipe Tasks
MediaPipe Tasks cung cấp 2 thư viện tạo sẵn dành cho thị giác và văn bản. Chiến lược phát hành đĩa đơn
Tệp mô hình .tflite
phải nằm trong gói ứng dụng iOS
sử dụng mô hình đó. Tuỳ thuộc vào MediaPipe Tas, hãy thêm tầm nhìn hoặc văn bản
thư viện vào danh sách các nhóm trong Podfile
CocoaPods. Để xem hướng dẫn về
tạo Podfile
với các nhóm bắt buộc cho ứng dụng, hãy tham khảo bài viết Sử dụng
CocoaPods.
Nhiệm vụ dựa trên AI tạo sinh
Thư viện AI tạo sinh MediaPipe Tasks chứa các nhiệm vụ xử lý hình ảnh hoặc
tạo văn bản. Để cài đặt thư viện AI tạo sinh MediaPipe Tasks, hãy thêm
MediaPipeTasksGenAI
và MediaPipeTasksGenAIC
nhóm cho mục tiêu của ứng dụng trong
Podfile
.
API suy luận LLM
Nhiệm vụ Suy luận LLM MediaPipe nằm trong MediaPipeTasksGenAI
và MediaPipeTasksGenAIC
nhóm.
target 'MyLlmInferenceApp' do
use_frameworks!
pod 'MediaPipeTasksGenAI'
pod 'MediaPipeTasksGenAIC'
end
Nhiệm vụ liên quan đến thị giác
Thư viện tầm nhìn MediaPipe Tasks chứa các nhiệm vụ xử lý hình ảnh hoặc video
đầu vào. Để cài đặt thư viện tầm nhìn MediaPipe Tasks, hãy thêm
MediaPipeTasksVision
nhóm cho mục tiêu của ứng dụng trong Podfile
.
target 'MyAppWithMediaPipeTasksVision' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
Việc cần làm qua tin nhắn
Thư viện văn bản MediaPipe Tasks chứa các tác vụ xử lý dữ liệu ngôn ngữ bằng
văn bản. Để cài đặt thư viện văn bản MediaPipe Tasks, hãy thêm phương thức
MediaPipeTasksText
nhóm cho mục tiêu của ứng dụng trong Podfile
target 'MyAppWithMediaPipeTasksText' do
use_frameworks!
pod 'MediaPipeTasksText'
end
Định cấu hình mục tiêu thử nghiệm
Nếu ứng dụng của bạn có mục tiêu thử nghiệm, hãy đảm bảo rằng Podfile của bạn tuân thủ một trong hai các cách triển khai sau đây để tránh mọi hành vi không mong muốn khi sử dụng Thư viện tác vụ MediaPipe.
Cách triển khai đơn giản nhất là để đảm bảo rằng mục tiêu kiểm thử không được lồng ghép vào nhau trong mục tiêu ứng dụng chính để thêm nhóm tác vụ MediaPipe.
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
end
target 'MyAppWithMediaPipeTasksTests' do
end
Nếu mục tiêu thử nghiệm phải được lồng vào mục tiêu ứng dụng chính, thì Podfile phải tuân theo cách triển khai sau:
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
target 'MyAppWithMediaPipeTasksTests' do
inherit! :none
end
end
Cấu hình BaseOptions
BaseOptions cho phép định cấu hình chung của các API tác vụ MediaPipe.
Tên tùy chọn | Mô tả | Giá trị được chấp nhận |
---|---|---|
modelAssetPath |
Đường dẫn mô hình đến một tệp mô hình trong gói ứng dụng iOS. | Đường dẫn dưới dạng chuỗi. |
Tăng tốc phần cứng
Trên iOS, MediaPipe Tasks chỉ hỗ trợ các mô hình đang chạy trên bộ xử lý CPU tiêu chuẩn.
Khắc phục sự cố
Để được trợ giúp các câu hỏi kỹ thuật liên quan đến MediaPipe, hãy truy cập cuộc thảo luận nhóm hoặc Nhóm ảnh Cơ hội bổ sung hỗ trợ từ cộng đồng. Để báo cáo lỗi hoặc đưa ra yêu cầu về tính năng, hãy gửi vấn đề lên GitHub.
Để được trợ giúp thiết lập môi trường phát triển iOS, hãy truy cập vào trang Nhà phát triển của Apple Tài liệu.